服务器GPU加载失败？这些排查技巧帮你搞定

一、为什么服务器GPU加载不起来？

最近有不少朋友在后台留言，说自己的服务器GPU死活加载不起来，就像汽车打不着火一样让人着急。其实这个问题很常见，原因也是五花八门。最常见的就是驱动版本不匹配，就像你用Windows 10的驱动去装Windows 11，肯定要出问题。

我记得去年帮一个做深度学习的朋友排查问题，他的服务器上有8块GPU，但每次只能识别到6块。折腾了两天，最后发现是PCIe插槽供电不足。所以啊，硬件问题也不能忽视。

“GPU加载失败往往不是单一原因造成的，需要从驱动、硬件、系统配置多个维度去排查。”

还有一次，一个做渲染的朋友遇到了更奇葩的问题——GPU在系统里能看到，但一跑渲染就崩溃。后来发现是BIOS里的PCIe设置有问题，把PCIe版本从4.0降到3.0就正常了。

二、快速检查GPU状态的几个命令

想要知道GPU到底在不在工作状态，有几个命令特别好用。首先是nvidia-smi，这个算是GPU界的“体检报告”了。

• nvidia-smi：查看GPU基本信息、温度、功耗
• lspci | grep -i nvidia：检查PCIe总线上的GPU设备
• dmesg | grep -i nvidia：查看内核日志中的GPU相关信息

如果你用的是Linux系统，可以试试这个组合拳：

nvidia-smi
lspci | grep -i nvidia
dmesg | grep -i nvidia

我有个习惯，每次调试服务器都会先跑一遍这些命令，就像医生看病要先量体温、测血压一样。通过这些命令，你能快速知道GPU是不是被系统识别了，驱动加载成功了没有，还有没有其他异常。

三、驱动安装的那些坑，怎么避开？

驱动安装绝对是个技术活，我见过太多人在这里栽跟头。首先要注意的是版本匹配，不是越新的驱动就越好。

安装驱动的时候，一定要先卸载旧版本。很多人图省事直接覆盖安装，结果就是各种奇奇怪怪的问题。正确的做法是：

1. 卸载现有驱动：sudo apt purge nvidia-*
2. 重启系统
3. 安装新驱动：sudo apt install nvidia-driver-470
4. 再次重启

还有个细节要注意，有些云服务商会提供定制版的驱动，这种时候最好用他们提供的版本，别自己瞎折腾。

四、Docker环境下的GPU使用技巧

现在用Docker的人越来越多，但在容器里用GPU确实有点门道。首先要确保宿主机上的驱动是正常工作的，然后才能在容器里调用GPU。

我最开始用Docker的时候，以为只要装了nvidia-docker就行了，结果发现容器里还是找不到GPU。后来才知道，需要在运行容器的时候加上--gpus all参数：

docker run --gpus all -it nvidia/cuda:11.8-base-ubuntu20.04

如果你用的是较新的Docker版本，也可以这样写：

docker run --runtime=nvidia -it nvidia/cuda:11.8-base-ubuntu20.04

还有个常见问题是权限。如果你的容器是以非root用户运行的，可能需要额外配置权限。我一般会在Dockerfile里加上这几句：

RUN apt-get update && apt-get install -y --no-install-recommends \
nvidia-cuda-toolkit \
&& rm -rf /var/lib/apt/lists/*

五、多GPU服务器的负载均衡配置

当你服务器上有多块GPU的时候，怎么让它们合理分工就是个学问了。特别是做模型训练的时候，如果负载不均衡，有些GPU忙得要死，有些却在摸鱼。

在PyTorch里，你可以用DataParallel来简单实现多GPU训练：

model = torch.nn.DataParallel(model, device_ids=[0,1,2,3])

但这种方法有个缺点，就是会在一个GPU上放主模型，造成那个GPU内存占用特别高。更好的办法是用DistributedDataParallel：

torch.distributed.init_process_group(backend='nccl')
model = torch.nn.parallel.DistributedDataParallel(model)

在实际项目中，我一般会这么做：

• 先用nvidia-smi查看各GPU的使用情况
• 根据模型大小和batch size来分配GPU
• 设置CUDA_VISIBLE_DEVICES环境变量来控制使用哪些GPU

比如你想只用前两块GPU，可以这样设置：

export CUDA_VISIBLE_DEVICES=0,1

六、实战案例：从故障排查到性能优化

来说个真实的案例。上个月有个做AI绘画的朋友找我，说他的服务器8块GPU只能用到4块，另外4块就像睡着了一样。

我到他机房一看，先跑了nvidia-smi，发现8块GPU都能识别。然后跑了个简单的CUDA测试程序，发现确实只有4块在工作。看了dmesg日志，发现有PCIe报错。

最后发现是主板BIOS里的PCIe链路设置有问题。我们把BIOS恢复默认设置，然后重新配置PCIe bifurcation，问题就解决了。

但事情还没完，虽然8块GPU都能用了，但训练速度还是没达到预期。我们又做了这些优化：

• 调整了DataLoader的num_workers参数
• 启用了混合精度训练
• 优化了模型的数据流

经过这一系列操作，训练速度提升了将近40%。所以说，GPU加载只是第一步，后面的性能优化才是重头戏。

其实处理GPU问题就像破案一样，需要耐心和细心。每次解决一个问题，你的经验值就会涨一点。时间长了，你就能形成自己的排查思路，遇到问题也不会慌了。