阿里云 GPU 实例启动后,如果程序找不到 GPU、nvidia-smi 报错,或深度学习框架只能调用 CPU,问题可能出在驱动,也可能与系统内核、CUDA 运行环境或框架版本有关。直接重装所有组件容易引入新的冲突。更稳妥的做法是从实例和设备开始检查,再逐层确认驱动、CUDA 与框架。
先分清显卡驱动、CUDA 和框架
显卡驱动负责让操作系统识别并控制 NVIDIA GPU;CUDA 是计算程序调用 GPU 的平台和工具;PyTorch、TensorFlow 等框架则在这些组件之上运行。它们彼此相关,但不能互相替代:安装了 CUDA 工具包,不代表驱动已经正常工作;框架安装成功,也不等于它能识别 GPU。
排查时可以按这个顺序走:实例是否带 GPU、操作系统是否识别显卡、驱动能否正常通信、CUDA 与框架是否匹配。先在阿里云控制台核对实例规格、镜像和操作系统版本。不同 GPU 规格、系统镜像和内核环境的支持情况可能不同,具体驱动版本应以对应产品文档和镜像说明为准。
安装前先做三项检查
确认实例确实带有 GPU
登录 Linux 实例后,可以执行:
lspci | grep -i -E 'nvidia|vga|3d'
如果没有安装 lspci,可先通过系统的软件包管理器安装 pciutils。命令没有显示 NVIDIA 设备时,先别急着装驱动,回到控制台确认实例规格和设备状态。普通 CPU 实例不会因为安装了显卡驱动就获得 GPU。
记录操作系统和内核版本
执行 cat /etc/os-release 查看发行版,再用 uname -r 查看当前内核。驱动需要与系统环境配合,内核升级后,原有驱动模块可能无法继续正常工作;启用了 Secure Boot 的系统也可能需要额外检查驱动模块是否能加载。
如果这是正在承担业务的实例,建议先记录系统信息并安排维护窗口。驱动安装或重启可能影响正在运行的训练、推理任务,别在任务进行中直接操作。
检查已有驱动和预装组件
执行 nvidia-smi 查看 GPU 型号、驱动版本和显存信息。如果命令能正常显示这些内容,通常说明驱动已经可用,不必为了“重新装一遍”而覆盖现有环境。接着确认镜像是否预装了驱动,以及实例上已有的 CUDA、容器运行时和框架版本。
这一步容易被跳过。有些镜像已经带有 GPU 相关组件,如果再按网上的教程安装另一套驱动,可能造成版本冲突。安装前先看阿里云镜像说明,也要确认软件源可用、磁盘空间充足、网络连接正常。
阿里云显卡驱动的安装思路
优先采用与实例和操作系统匹配的官方镜像、产品文档推荐方案,或发行版支持的驱动包。以 Ubuntu 为例,可以先查看系统识别到的候选驱动:
sudo ubuntu-drivers devices
再根据当前 Ubuntu 版本的官方说明选择驱动。候选项会因系统版本和环境不同而变化,不建议直接复制针对其他版本的命令。Rocky Linux、CentOS 等系统也应按照相应软件源及阿里云文档操作。
如果实例已经承担业务,安装前先创建快照,或确认有可用的回滚方案。安装完成后按提示重启,再运行 nvidia-smi 验证。若仍提示无法与 NVIDIA 驱动通信,检查驱动包是否完整、内核模块是否加载,以及重启后是否进入了新内核。没有找到原因前,不要反复混装不同来源的驱动。
训练程序看不到 GPU,先查底层驱动
有团队在阿里云 GPU 实例上部署图像分类训练任务时,程序提示没有可用的 CUDA 设备。起初他们准备重装深度学习框架,但检查 nvidia-smi 后发现命令本身就报错。继续查看设备列表,系统能够识别 NVIDIA GPU,于是排查重点从实例规格转向驱动和内核模块。
进一步核对后发现,实例近期更新过内核,原有驱动模块没有在新内核环境下正常工作。团队按照该系统和实例镜像对应的方案处理驱动,重启后 nvidia-smi 能正常列出 GPU。随后再核对框架需要的 CUDA 运行环境并安装匹配版本,训练任务才开始调用 GPU。
遇到“找不到 CUDA 设备”,不一定是 CUDA 工具包没有安装,也可能是驱动模块失效。先验证操作系统和驱动,再看 CUDA 与框架,通常比直接重装所有组件更容易定位问题,也能减少版本冲突。
常见故障的排查方向
nvidia-smi无法与驱动通信:检查驱动安装状态、内核模块和近期系统更新;如果刚升级过内核,确认重启后是否进入新内核。- 设备列表看不到显卡:回到控制台核对实例规格和 GPU 设备状态。驱动安装不能弥补实例本身没有 GPU 或设备未正常挂载的问题。
- 驱动正常,框架仍看不到 GPU:检查框架安装包、CUDA 运行时及其版本要求。不要只凭 CUDA 工具包的版本号判断整个环境是否兼容。
- 升级系统后出现故障:查看内核是否变化,以及驱动模块是否需要重新构建;同时确认当前系统版本仍在驱动支持范围内。
- 容器内看不到 GPU:先确认宿主机驱动正常,再检查容器运行时和 GPU 设备映射。通常不应在容器里重复安装宿主机驱动。
生产环境安装后的验证与维护
把系统镜像、内核、驱动、CUDA 和框架版本记录下来,后续复现问题会更方便。升级前先在测试实例验证,再决定是否调整线上节点;尤其是多台训练或推理实例,不要未经验证就批量改动。
安装成功提示只能说明安装流程完成,不能证明整个计算环境都能用。至少再运行一次 nvidia-smi;如果框架是实际工作负载,还应执行一个 GPU 检测任务,确认它能识别设备并正常调用。涉及特定 GPU 型号或操作系统版本时,以阿里云对应产品文档和软件官方兼容说明为准。
阿里云显卡驱动的安装需要同时考虑实例规格、操作系统、内核和计算环境。遇到故障时从设备识别开始逐层验证,通常比反复更换驱动或重装框架更容易找到问题所在。