最近很多朋友都在问，服务器上的GPU该怎么查？怎么看它是不是在正常工作？今天咱们就来好好聊聊这个话题。说实话，第一次接触服务器GPU查询的时候，我也是一头雾水，毕竟这东西跟咱们平时用的电脑显卡不太一样，但掌握了方法之后，你会发现其实挺简单的。
为什么要学会查询服务器GPU？
你可能觉得，服务器放着能用就行了，干嘛非要查它的GPU状态呢？这话听起来有点道理，但实际上问题可大了。我就见过有公司花了几十万买了GPU服务器，结果因为没人会监控，GPU长期闲置都没人知道，这不是白白浪费钱嘛！
查询服务器GPU至少有下面这几个好处：
- 实时掌握资源使用情况
你知道哪块GPU在干活，哪块在偷懒 - 及时发现性能瓶颈
训练速度突然变慢？很可能是GPU出问题了 - 合理分配计算任务
避免把所有任务都堆到一块GPU上 - 预防硬件故障
温度过高、显存泄漏这些问题都能提前发现
说白了，学会查GPU就跟开车要看仪表盘一样，不是可选项，而是必须掌握的技能。
基础查询命令入门
说到查GPU，第一个要学的肯定是nvidia-smi这个命令。别看它名字有点复杂，用起来真的很简单。你只需要在服务器的命令行里输入：
nvidia-smi
然后就能看到一个表格，里面包含了GPU的各种信息。我刚学的时候，看到这一堆数字也有点懵，但其实主要就看几个关键指标：
| 指标名称 | 什么意思 | 正常范围 |
|---|---|---|
| GPU利用率 | GPU有多忙 | 根据任务变化 |
| 显存使用 | 用了多少显存 | 不要长时间接近100% |
| 温度 | GPU有多热 | 通常低于85℃ |
| 功耗 | 耗电多少 | 看具体显卡型号 |
除了基本的nvidia-smi，你还可以试试nvidia-smi -l 5，这个命令会每5秒刷新一次信息，特别适合观察GPU的使用变化趋势。
进阶监控工具推荐
如果你觉得命令行看着不够直观，别担心，还有很多图形化的工具可以用。比如说NVIDIA System Management Interface，它提供了更丰富的监控功能，能够记录历史数据，生成使用报告。
如果你在用Kubernetes管理服务器，那么DCGM（NVIDIA Data Center GPU Manager）绝对是你的菜。它能集成到Prometheus里，实现全方位的监控告警。我们团队现在就在用这个，设置好之后，GPU出什么问题手机马上就能收到报警，特别省心。
对于喜欢自己折腾的朋友，还可以试试gpustat这个Python工具，安装简单，显示的信息也很清晰：
pip install gpustat
gpustat -i
这个工具的好处是输出格式更友好，一眼就能看出所有GPU的状态。
GPU资源分配与管理技巧
知道了怎么查GPU，接下来就要学会怎么管GPU了。特别是在多人使用的服务器上，资源分配是个大学问。我就遇到过因为资源分配不当导致的“惨案”——两个人同时跑大模型训练，直接把服务器搞崩了。
这里分享几个实用的管理技巧：
- 使用CUDA_VISIBLE_DEVICES
这个环境变量可以限制程序只能使用指定的GPU - 设置用户配额
通过cgroups限制每个用户能使用的GPU资源 - 建立使用规范
比如训练任务优先使用哪几块GPU，推理任务用哪几块
我们现在的做法是，把性能最好的GPU留给生产环境，性能稍差的分给开发和测试。同时要求大家在使用前先查一下GPU负载，选择空闲的卡来用。
常见问题排查与解决
查GPU的时候，经常会遇到一些奇怪的问题，我整理了几个最常见的：
问题一：nvidia-smi命令找不到
这个通常是因为驱动没装好，或者环境变量没设置对。解决方法是检查驱动安装，确认CUDA工具包路径是否正确配置。
问题二：GPU显示但无法使用
有时候nvidia-smi能看到GPU，但程序就是不能用。这可能是权限问题，或者GPU被其他进程占用了。可以用fuser -v /dev/nvidia*命令看看是谁在占用。
问题三：显存泄漏
这个最头疼，程序跑完显存不释放。解决方法一般是重启相关进程，或者写个定时脚本来清理闲置的显存。
记得有一次，我们服务器的GPU温度突然飙升，排查了半天才发现是机房空调出问题了。所以遇到问题要多方面考虑，不一定是GPU本身的问题。
自动化监控方案搭建
手动查GPU毕竟不是长久之计，真正要用好服务器GPU，还得靠自动化监控。这里我分享一个我们正在用的方案，效果还不错。
首先用Prometheus做数据采集，通过Node Exporter和DCGM Exporter收集GPU指标。然后在Grafana上做可视化，设置各种仪表盘。最后通过Alertmanager配置告警规则，比如：
- GPU温度连续5分钟超过85℃
- 显存使用率超过95%
- GPU利用率持续为0（可能卡死了）
这套方案搭建起来不算复杂，但带来的收益很大。我们现在能实时看到每块GPU的健康状况，出现异常马上就能处理。
最佳实践与经验分享
分享一些我们在实践中总结出来的经验：
定期检查不能少
我们要求运维同学每天早晚各检查一次GPU状态，形成习惯。
文档要跟上
把常见的查询命令、故障处理方法都整理成文档，新同事来了也能快速上手。
监控要分层
实时监控、小时级统计、日报周报都要有，不同的问题用不同的监控粒度。
留点余量
不要把GPU资源用到100%，留出20%左右的缓冲空间，应对突发任务。
其实服务器GPU查询没那么神秘，关键是动手去试。刚开始可能记不住那么多命令，没关系，把常用的写在便签上，贴在显示器旁边，用多了自然就记住了。重要的是养成定期检查的习惯，这样才能确保你的GPU服务器始终处于最佳状态。
好了，今天的分享就到这里。如果你在实践过程中遇到什么问题，欢迎随时交流。记住，好的GPU监控习惯，能让你的服务器多用好几年呢！
内容均以整理官方公开资料，价格可能随活动调整，请以购买页面显示为准，如涉侵权，请联系客服处理。
本文由星速云发布。发布者：星速云。禁止采集与转载行为，违者必究。出处：https://www.67wa.com/144865.html
