服务器GPU状态监控：常用命令与工具详解

为啥要关心服务器上的GPU状态？

现在搞AI训练、视频渲染或者科学计算的朋友，谁不用GPU啊？但问题是，这些大家伙可不便宜，一台服务器里塞着好几块显卡，每块都值不少钱呢。你要是不知道它们到底在干啥，那可就亏大了。想象一下，你花大价钱买的A100显卡，结果它就在那儿闲着摸鱼，而你还在抱怨模型训练太慢，这不是白白浪费资源嘛。

我见过太多这样的情况了——团队里有人抱怨说GPU不够用，结果一查监控，发现有块卡的使用率常年不到10%。这就像你买了辆跑车，却只用来买菜一样，太浪费了！所以啊，学会查看GPU使用状态，就跟你会看汽车仪表盘一样，是基本功。

nvidia-smi——最直接的工具

说到查看GPU状态，第一个要提的就是nvidia-smi。这是英伟达官方自带的工具，只要你装了显卡驱动，它就在那儿等着你用。这个工具特别实在，打开终端输入命令，立马就能看到所有显卡的实时状态。

你只需要在命令行里敲入：

nvidia-smi

然后就会跳出一个表格，里面信息可全了——哪块卡正在忙，用了多少显存，温度多少，功耗多大，全都一目了然。我刚开始用的时候，最喜欢看的就是温度那一栏，生怕显卡过热给烧了。

这个工具还有个很贴心的功能，它能显示每个GPU上正在跑哪些进程，是谁在用这块卡。这对于排查问题特别有帮助，要是发现某块卡突然跑满了，一看就知道是哪个程序在捣鬼。

GPU使用率到底该怎么看？

很多人一看nvidia-smi的输出就懵了，那么多数字，到底该关注哪个？其实最重要的是两个指标：GPU使用率和显存使用率。

GPU使用率就像是CPU使用率，告诉你这块卡的计算单元有多忙。如果是做模型训练，这个值通常会在90%以上，说明资源利用得不错。但如果长期在10%-20%徘徊，那可能就是你的代码或者配置有问题了。

显存使用率就更直观了——它告诉你显卡的内存用了多少。深度学习模型通常很吃显存，有时候明明GPU使用率不高，但显存已经快满了，这时候就可能需要调整批次大小或者优化模型了。

除了nvidia-smi，还有这些好用的工具

nvidia-smi虽然好用，但毕竟是个命令行工具，对于不习惯终端的同学来说可能有点门槛。别担心，市面上还有很多图形化工具可以用。

比如gpustat，这是个基于Python的小工具，安装特别简单：

pip install gpustat

装好后直接输入gpustat，它会用更友好的格式显示GPU状态，颜色标注让重要信息一目了然。我团队里的小伙伴都说这个比原生的nvidia-smi看起来舒服多了。

如果要搞监控告警，那Prometheus + Grafana这套组合拳就派上用场了。你可以在每台服务器上部署nvidia-gpu-exporter，把GPU指标暴露给Prometheus，然后在Grafana里做漂亮的监控大盘。这样你坐在工位上，一眼就能看到所有服务器的GPU健康状况。

实战案例：如何排查GPU使用问题

上个月我们团队就遇到一个典型问题——有同事反映他的模型训练特别慢，怀疑是GPU性能问题。我登录服务器一看，nvidia-smi显示GPU使用率只有30%左右，这明显不对劲。

经过一番排查，发现问题出在数据加载上。他的数据预处理太复杂，GPU老是等着CPU送数据过来，这就造成了资源闲置。后来我们优化了数据流水线，使用了一些预加载和缓存技巧，GPU使用率一下子就上到了95%，训练速度直接快了三倍！

从这个案例就能看出，光看GPU使用率还不够，还得结合其他系统指标一起分析。有时候问题不在GPU本身，而是在与之配合的其他环节上。

搭建简单的GPU监控系统

如果你管理着多台GPU服务器，手动登录每台机器去查状态肯定不现实。这时候就需要搭建一个集中监控系统了。

我推荐一个简单的方案：

• 每台服务器安装gpustat，配置成定期输出状态
• 写个脚本把这些状态收集起来，存到数据库里
• 用个简单的Web界面展示历史趋势和实时状态

这样你早上到公司，第一件事就是打开监控页面，看看昨晚的训练任务跑得怎么样，有没有哪块卡出了异常。发现问题及时处理，避免影响项目进度。

GPU监控的最佳实践

经过这么多年的摸爬滚打，我总结出了几个GPU监控的最佳实践，分享给大家：

第一，设置合理的告警阈值。 比如温度超过85℃、显存使用率超过95%就发告警。但也不要设置得太敏感，免得天天被告警骚扰。

第二，定期检查历史趋势。 有些问题不是突然发生的，而是慢慢恶化的。比如散热系统积灰，导致显卡温度逐渐升高，这种问题看实时状态可能发现不了，但看历史趋势就很明显。

第三，建立使用规范。 我们团队要求每个人在用GPU之前都要先查一下状态，避免重复占用。同时建立了资源预约制度，重要的训练任务提前预约，这样既能保证资源合理分配，又能避免冲突。

记住，好的监控习惯能帮你省下不少真金白银。毕竟这些GPU设备都不便宜，让它们充分发挥价值，才是明智之举。