服务器GPU使用率怎么查？这几种方法最实用

为啥要盯着GPU使用率？

现在搞AI训练、做大数据分析，哪个都离不开GPU。但GPU这玩意儿可不便宜啊，一块好点的卡动辄几万块。你要是让它闲着，那简直就是把钞票扔水里。我见过不少团队，机器买回来插上电就跑，从来不看GPU到底在干嘛，结果利用率还不到30%，真的太浪费了。

其实监控GPU使用率就跟开车要看油表一个道理。你总得知道油用得快不快、还剩多少吧？GPU使用率能告诉你：

• 你的程序到底有没有在用GPU
  别笑，真有人写了CUDA代码，结果跑的还是CPU
• GPU是不是成了瓶颈
  如果使用率一直100%，那可能就是GPU跟不上你的计算需求了
• 资源分配是否合理
  在多用户环境下，谁在用、用了多少，这些都得心里有数

有个做深度学习的朋友跟我说过：“不监控GPU使用率的团队，就像闭着眼睛开车，迟早要出问题。”

最直接的查看方法
nvidia-smi命令

说到查看GPU使用率，第一个要掌握的肯定是nvidia-smi。这是NVIDIA官方提供的工具，基本上装完驱动就有了。

你只需要在终端里输入：

nvidia-smi

然后就会看到一个表格，里面包含了GPU的各种信息。刚开始看可能会觉得有点眼花缭乱，我来给你拆解一下：

如果你想实时监控，可以加上-l参数：

nvidia-smi -l 5

这个命令会每5秒刷新一次，特别适合在跑训练的时候观察使用率变化。

更高级的玩法
gpustat工具

如果你觉得nvidia-smi的输出太复杂，那gpustat绝对是你的菜。这个工具是社区开发的，界面清爽多了。

安装也很简单：

pip install gpustat

然后用起来：

gpustat

gpustat的好处是信息更集中，一眼就能看到每块GPU的使用率、显存占用，甚至还能看到是哪个进程在使用GPU。对于多卡服务器来说，这个工具真的太方便了。

我特别喜欢它的彩色显示，哪块卡忙、哪块卡闲，一眼就能看出来。而且它还能显示每个进程的用户，在多用户环境下特别实用。

远程监控和Web界面

有时候服务器在机房，你总不能天天跑机房去看吧？这时候就需要远程监控方案了。

NVIDIA DCGM是官方推荐的方案，功能很强大，但配置起来稍微复杂点。它提供了API接口，你可以把监控数据集成到自己的监控系统里。

如果你想要开箱即用的方案，可以试试Prometheus + Grafana的组合：

• Prometheus负责采集数据
• Grafana负责展示漂亮的图表

这样你就能在网页上看到GPU使用率的历史趋势，还能设置告警。当GPU使用率异常时，系统会自动发邮件或者发消息给你。

还有个轻量级的工具叫Netdata，安装简单，自带Web界面，适合快速搭建监控系统。

Windows服务器怎么办？

虽然大部分GPU服务器跑的是Linux，但确实也有Windows环境的需求。在Windows上查看GPU使用率，主要有这几个方法：

首先当然是任务管理器。在Windows 10和Windows Server 2019之后的版本，任务管理器直接集成了GPU监控功能。你打开任务管理器，切换到“性能”标签，就能看到GPU的使用情况了。

如果你需要更详细的信息，还是得用NVIDIA控制面板。在桌面右键菜单里找到NVIDIA控制面板，里面有个“系统信息”可以查看详细的GPU状态。

对于开发者来说，在Windows上也可以用nvidia-smi，前提是你安装了NVIDIA驱动。打开命令提示符或者PowerShell，输入nvidia-smi，效果跟Linux上差不多。

实际工作中的使用技巧

光会看数字还不够，关键是要知道怎么看懂这些数字。这里分享几个实战经验：

使用率低不一定是坏事：有些任务本来就是间歇性的，比如数据处理中的IO操作期间，GPU使用率自然会下降。要看整体趋势，而不是某个瞬间的值。

注意显存使用：有时候GPU使用率不高，但显存快满了，这可能意味着你的batch size设得太大了。

温度也很重要：如果GPU温度长期在90°C以上，不仅影响性能，还可能缩短硬件寿命。

我建议在项目开始前先建立监控基线，知道正常情况下的使用率是多少。这样一旦出现异常，你马上就能发现。

在多卡环境下，要特别注意负载均衡。有些程序不会自动利用多卡，你可能需要手动指定使用哪几张卡。

遇到问题怎么解决？

在实际使用中，你可能会遇到各种奇怪的问题。这里列举几个常见的：

GPU使用率一直是0：首先检查你的代码是不是真的在GPU上运行，然后检查CUDA环境是否正常。

使用率波动太大：这可能是因为数据预处理跟不上GPU的计算速度，可以试试增加数据加载的线程数。

显存泄漏：如果显存使用率一直在涨，但GPU使用率没变化，那可能是显存泄漏了。

记住，监控是为了发现问题，但更重要的是解决问题。建立完整的监控-告警-处理流程，才能真正发挥GPU的价值。