服务器GPU监控指令详解与实用技巧
•
云服务器 •
阅读 7
为什么我们需要关注GPU使用情况？
现在做AI开发或者搞深度学习的朋友越来越多了，服务器上的GPU简直成了宝贝疙瘩。一块好点的显卡动不动就几万块，要是让它闲着或者使用不当，那可真是暴殄天物啊！我见过不少团队，服务器配置挺高，但GPU利用率却低得可怜，这不就是开着跑车在市区里堵着嘛。
其实监控GPU使用情况不仅仅是看个数字那么简单。它能帮你发现程序是不是真的在好好干活，有没有出现内存泄漏，还能帮你合理分配资源。特别是当多个人共用一台服务器的时候，谁在用哪块卡，用了多少，一目了然，省得大家互相抢资源。
说到查看GPU使用情况，nvidia-smi这个命令绝对是绕不开的。它就像是GPU的体检报告，一运行就能把显卡的状态给你展示得明明白白。
你只需要在终端里输入：
nvidia-smi
然后就会看到一个表格，里面包含了GPU的利用率、内存使用情况、温度、功耗等等。我第一次用的时候，感觉就像打开了新世界的大门——原来显卡还有这么多参数可以看！
不过这个默认显示是实时刷新的，如果你想要它定时刷新，可以加上参数：
nvidia-smi -l 5
这样就会每5秒刷新一次，特别适合在跑训练的时候盯着看。
nvidia-smi的高级用法
光会看基础信息还不够，nvidia-smi还有很多实用的高级功能。比如说，你想知道是哪个进程在用GPU，可以这样：
nvidia-smi -q -d PIDS
这个命令会把使用GPU的进程ID都列出来，然后你就可以用ps命令进一步查看具体是哪个程序在运行。
还有一个很实用的功能是监控特定GPU：
nvidia-smi -i 0 -l 2
这里的-i 0表示只监控0号GPU，-l 2表示每2秒刷新一次。当你的服务器有多块卡，但只想关注其中一块的时候，这个功能就特别方便。
除了nvidia-smi，还有这些工具可以用
虽然nvidia-smi很强大，但有时候我们可能需要更直观或者更专业的工具。比如说gpustat，这个工具安装很简单：
pip install gpustat
然后用起来更简单：
gpustat
它的显示效果比nvidia-smi更简洁明了，颜色标注也很直观，一眼就能看出哪块卡在用，哪块卡闲着。
还有一个工具叫nvtop，它有点像CPU监控工具htop，但是专门为NVIDIA GPU设计的。安装命令：
sudo apt install nvtop
这个工具特别适合喜欢在终端里操作的朋友，界面很酷，信息也很全。
GPU监控数据的含义解读
看到监控数据但是看不懂，那跟没看一样。我来给你详细解释一下各个参数的含义：
- GPU-Util：这个是最重要的，表示GPU的计算单元使用率，可以理解为显卡的“忙碌程度”
- Memory Usage：显存使用情况，包括已用显存和总显存
- Temperature：GPU温度，太高了会影响性能还可能损坏硬件
- Power Draw：功耗，这个对电费敏感的朋友要特别关注
我刚开始接触的时候，经常把GPU利用率和显存使用率搞混。其实很简单，GPU利用率就像是你电脑CPU的使用率，表示计算单元忙不忙；而显存使用率就像是内存使用率，表示存储空间用了多少。有时候你会看到显存用了很多，但GPU利用率很低，这可能是因为程序加载了很多数据到显存里，但实际计算任务不重。
实战场景：如何排查GPU性能问题
理论说了这么多，咱们来点实际的。假设你现在遇到一个问题：模型训练速度特别慢，怎么用这些工具来排查？
运行nvidia-smi看看GPU利用率。如果利用率很低，比如只有10%-20%，那可能是数据读取成了瓶颈，或者模型太小，GPU根本就没吃饱。
然后看看显存使用情况。如果显存快满了，可能是batch size设得太大了，或者模型参数太多。
还可以用这个命令查看具体进程：
nvidia-smi –query-compute-apps=pid,process_name,used_memory –format=csv
这样就能看到是哪个程序在占用显存，有时候你会发现有些程序已经退出了，但显存还没释放，这时候就需要手动清理了。
自动化监控方案
总不能一直盯着终端看吧？所以我们需要自动化监控方案。最简单的办法是用watch命令：
watch -n 1 nvidia-smi
这样就会每秒自动刷新一次，但你还是要开着终端。
更高级的做法是把监控数据记录到文件里：
nvidia-smi –query-gpu=timestamp,index,utilization.gpu,memory.used,memory.total,temperature.gpu –format=csv -l 1 > gpu_log.csv
这样所有的GPU数据都会被记录到csv文件里，后续可以用Python或者其他工具进行分析。
对于生产环境，我推荐使用Prometheus + Grafana的方案，可以搭建一个很漂亮的监控面板，还能设置报警阈值。
常见问题与解决方案
在实际使用中，经常会遇到一些典型问题，我这里总结几个：
| 问题现象 |
可能原因 |
解决方案 |
| GPU利用率一直为0 |
程序没有使用GPU，或者驱动有问题 |
检查CUDA是否安装正确，程序是否调用了GPU |
| 显存占用高但GPU利用率低 |
数据加载或预处理成为瓶颈 |
优化数据管道，使用更快的存储 |
| GPU温度过高 |
散热不良或负载过重 |
清理风扇，改善机房环境，降低负载 |
| nvidia-smi命令找不到 |
驱动未安装或PATH设置问题 |
重新安装驱动，检查环境变量 |
记得有一次，我们的服务器GPU温度老是报警，找了半天原因，最后发现是机房的空调出风口被挡住了。所以说，硬件环境也很重要。
最佳实践与经验分享
最后分享几个我在实践中总结的小技巧：
定期检查GPU驱动和CUDA版本。不同版本的兼容性不一样，有时候性能问题就是版本不匹配导致的。
建立监控习惯。不要等到出问题了才想起来看GPU状态，应该在每次运行重要任务前都检查一下。
还有，做好文档记录。把常用的监控命令、排查步骤都记录下来，团队新成员来了也能快速上手。
最重要的是，根据监控数据来优化。看到GPU利用率低，就想办法提高；看到显存不够用，就调整模型或数据。这样才能让昂贵的GPU资源发挥最大价值。
GPU监控其实是个很有意思的话题，掌握好了不仅能提高工作效率，还能在同事面前露一手。希望今天的分享对你有帮助！
内容均以整理官方公开资料，价格可能随活动调整，请以购买页面显示为准，如涉侵权，请联系客服处理。
本文由星速云发布。发布者：星速云。禁止采集与转载行为，违者必究。出处：https://www.67wa.com/146500.html
