服务器GPU状态查询：从基础命令到性能监控全攻略

一、为什么我们需要关注服务器GPU状态？

现在做AI开发或者跑深度学习模型的朋友，没有谁离得开GPU了。想想看，你辛辛苦苦写好的代码，结果在训练的时候卡得要命，或者干脆报错说显存不够，那感觉真是糟透了。所以啊，学会在服务器上查看GPU状态，就跟开车要学会看仪表盘一样，是必备技能。

特别是当你在团队里工作，服务器是大家共用的，你总得知道现在谁在用GPU，用了多少，还有没有空闲的资源吧？不然你一个任务提交上去，等了半天发现根本没跑起来，那不是白白浪费时间吗？而且有时候模型训练突然变慢了，你也要能快速判断是不是GPU出了什么问题。

二、最常用的GPU查看命令：nvidia-smi

说到查GPU，第一个要掌握的命令绝对是nvidia-smi。这个命令是NVIDIA官方提供的工具，基本上装好CUDA驱动之后就有了。你只需要在服务器的命令行里输入：

nvidia-smi

然后就会看到一个表格，里面包含了GPU的各种信息。我第一次用这个命令的时候，感觉信息量好大，有点眼花缭乱。不过用多了就知道，其实我们最关心的就是那么几项。

这个命令显示的信息真的很全，包括GPU的型号、温度、功耗、显存使用情况、正在运行的进程等等。如果你想要更简洁的显示，可以试试nvidia-smi -q，这个会显示更详细的信息，适合需要深入了解GPU状态的时候使用。

三、nvidia-smi输出结果怎么看？

刚接触nvidia-smi的时候，看到那一大堆数字和百分比，确实有点懵。我来给你拆解一下，哪些信息是最重要的：

• GPU利用率（Utilization）：这个百分比告诉你GPU有多忙。如果一直是0%，那可能你的代码根本没用到GPU；如果一直是100%，说明GPU在全力工作。
• 显存使用情况（Memory Usage）：这里会显示显存总共多少，已经用了多少。如果你的模型显存不够用，这里一眼就能看出来。
• 温度（Temperature）：GPU温度太高会影响性能，甚至导致宕机，所以这个也要经常关注。
• 运行进程（Processes）：这里会显示哪些进程在使用GPU，用了多少显存，是谁在用的。

举个例子，如果你看到显存快用满了，但是GPU利用率却是0%，那很可能是有进程占着显存却没在计算，这种情况就需要处理一下了。

四、让查询更高效：nvidia-smi的实用参数

nvidia-smi有很多好用的参数，掌握了这些，你查GPU状态就能事半功倍。比如说，如果你只想看显存使用情况，可以这样：

nvidia-smi –query-gpu=memory.used –format=csv

这样输出就清爽多了，只有显存使用量的数字。再比如，如果你想定时监控GPU状态，可以用循环命令：

while true; do nvidia-smi; sleep 2; done

这样每2秒就会刷新一次GPU状态，特别适合在模型训练的时候开着另一个终端窗口实时观察。

还有一个很实用的参数是nvidia-smi -l，它会定期刷新显示，不用你手动一遍遍地输入命令。比如nvidia-smi -l 5就是每5秒自动刷新一次。

五、除了nvidia-smi，还有哪些查询方法？

虽然nvidia-smi是最常用的，但有时候你可能需要其他工具来辅助。比如说，如果你的服务器用的是AMD的GPU，那就得用rocm-smi了。用法跟nvidia-smi差不多，都是直接在命令行里输入就行。

如果你在用Docker容器，有时候在容器内部直接运行nvidia-smi可能会遇到问题。这时候可以在启动容器的时候加上–privileged参数，或者在宿主机上查好了告诉容器里的人。

对于喜欢用Python的开发者，还可以通过py3nvml或者GPUtil这样的库来查询GPU状态。这样你就能在Python脚本里直接获取GPU信息，实现更灵活的监控和调度。

六、GPU监控与自动化脚本

光会手动查还不够，在实际工作中，我们经常需要自动化监控GPU状态。比如说，写个脚本定时检查GPU使用情况，当有GPU空闲的时候就自动提交任务，这样能大大提高资源利用率。

我这里有个简单的bash脚本例子，可以检查哪些GPU是空闲的：

#!/bin/bash
echo “Checking for free GPUs…”
nvidia-smi –query-gpu=index,memory.used –format=csv,noheader,nounits | while IFS=, read index memory_used; do
  if [ $memory_used -lt 500 ]; then
    echo “GPU $index is free (using only ${memory_used}MB)”
  fi
done

这个脚本会列出所有显存使用小于500MB的GPU，基本上可以认为是空闲状态。你可以根据自己的需求调整阈值。

七、常见问题与故障排查

在实际使用中，经常会遇到各种GPU相关的问题。我总结了几种常见的情况和解决办法：

特别是显存泄漏问题，在长时间运行深度学习训练时经常遇到。有时候你明明结束了训练，但是显存还是没有释放，这时候就需要手动杀进程或者重启了。

八、GPU资源管理的最佳实践

在团队协作的环境中，GPU资源管理就更加重要了。根据我的经验，有几点建议可以分享给大家：

建立资源使用规范。比如说，大家约定好，如果GPU显存使用超过90%，就不要强行再启新任务了，免得影响别人正在跑的任务。

使用监控工具。除了手动查，最好部署一些监控系统，比如Grafana搭配Prometheus，这样就能实时看到所有GPU的状态，还能设置报警。

养成好习惯。用完GPU之后及时结束进程释放资源，看到异常情况主动排查。大家都是在一个团队里工作，互相行个方便，工作效率自然就上去了。

说实话，我刚工作的时候也不重视这些，觉得能把代码跑通就行了。后来吃了好几次亏，比如因为GPU内存不足导致训练中断，或者因为没注意到GPU温度过高导致服务器宕机，这才慢慢学乖了。现在我看到团队里的新人，我都会把这些经验教给他们，毕竟前人踩过的坑，后人就不要再踩了。