为啥要关注服务器GPU？
现在搞服务器运维的，要是还只盯着CPU和内存，那可真是out了！GPU早就不是游戏玩家的专属，在深度学习、科学计算这些领域，它简直就是服务器的“超级引擎”。想象一下，你花大价钱买的A100或者H100显卡，要是因为不会查看状态而闲置着，那简直就是在烧钱啊！更别提有些粗心的运维，显卡驱动都没装好，还纳闷为啥模型训练这么慢。
我见过太多新手，第一次登录服务器就懵了，不知道从哪里下手。其实啊，查看GPU状态就像开车要看仪表盘一样，是每个服务器管理员的基本功。不管是排查问题，还是优化性能，都离不开对GPU状态的实时掌握。
最直接的命令：nvidia-smi
要说查看GPU，nvidia-smi绝对是你的首选工具。这个命令就像是给NVIDIA显卡量身打造的“体检报告”，信息全面又直观。你只需要在终端里输入：
nvidia-smi
敲下回车，唰的一下，所有信息都出来了！你会看到每个GPU的温度、功耗、显存使用情况，还有正在运行的进程。第一次用的时候，你可能会被那一堆数字吓到，别担心，我来给你划重点：
- 温度：通常保持在80度以下比较安全，要是超过85度就得注意了
- 显存使用：这个特别重要，要是快满了，程序就可能崩溃
- GPU利用率：理想状态是保持较高水平，说明你的显卡没在偷懒
让nvidia-smi更贴心的小技巧
光是会看基础信息还不够，想要更深入的信息，你得学会给nvidia-smi加参数。比如想看更详细的信息，可以试试：
nvidia-smi -q
这个命令会把所有能查的信息都给你列出来，从风扇转速到ECC错误计数，应有尽有。如果你想要实时监控，可以加上循环刷新的参数：
nvidia-smi -l 5
这样每5秒刷新一次，特别适合在跑训练的时候盯着看。还有个很实用的功能是生成监控日志：
nvidia-smi -l 1 –query-gpu=timestamp,temperature.gpu,utilization.gpu –format=csv -f gpu_log.txt
这个命令会把GPU的温度和使用率每分钟记录一次，方便你后续分析。
除了nvidia-smi，还有这些备选方案
虽然nvidia-smi是主力，但咱们也得知道几个备用的工具。万一某个服务器没装NVIDIA驱动，或者你想用更轻量级的方法，这些工具就能派上用场：
- lspci | grep -i nvidia：这个命令能帮你确认服务器里到底有没有NVIDIA显卡
- gpustat：这是个第三方工具，显示的信息更友好，颜色标注也很清晰
- rocm-smi：如果你用的是AMD的显卡，这个就是对应的工具
说实话，我在实际工作中最常用的还是nvidia-smi，毕竟它最稳定，功能也最全。但多知道几个工具，遇到特殊情况时就不用手忙脚乱了。
远程查看GPU的几种姿势
现在很多服务器都是放在机房的，咱们一般都是远程连接。不同的远程方式，查看GPU的方法也略有不同：
如果你是用SSH连接的，那跟在本地操作完全一样，直接运行nvidia-smi就行。但要是通过Docker容器，就得注意了，启动容器的时候要记得加上–gpus all参数，否则在容器里是看不到GPU的。
还有种情况是通过Jupyter Notebook，你可以在代码单元格里运行：
!nvidia-smi
那个感叹号别忘了，这样就能在网页上直接看到GPU信息了，特别方便数据分析师使用。
读懂GPU监控的关键指标
光会看数字不行，还得知道这些数字背后的含义。我整理了几个最重要的指标，你可得记牢了：
指标名称 正常范围 异常处理 GPU温度 30-80℃ 超过85℃要检查散热 显存使用率 根据任务调整 接近100%时考虑优化模型 GPU利用率 训练时应该较高 长期过低可能是程序问题 功耗 根据型号而定 异常升高可能硬件故障 特别是那个GPU利用率，很多人会跟显存使用率搞混。简单说，利用率是看GPU计算单元忙不忙，而显存使用是看显存够不够用，这是两码事！
实战：排查常见的GPU问题
理论说再多，不如实际操练一下。我来分享几个常见的GPU问题排查场景：
场景一：程序报显存不足
这时候先别急着加显卡，先用nvidia-smi看看是不是有其他程序占着显存。有时候是之前的训练任务没完全退出，或者有其他用户在使用。找到占用显存的进程后，确认不需要的话就直接kill掉。
场景二：GPU利用率一直很低
这种情况多半是程序本身的问题，可能是数据读取速度跟不上，或者是模型太小，GPU“吃不饱”。这时候就要检查数据流水线了，看看是不是I/O成了瓶颈。
场景三：温度过高
如果GPU温度持续在90度以上，首先要清理一下服务器灰尘，检查风扇转不转。有时候还需要调整一下机房的空调温度。
进阶玩法：搭建GPU监控系统
对于正式的生产环境，总不能一直靠手动敲命令吧？这时候就需要搭建一个完整的监控系统。我推荐几个方案：
简单版：用Prometheus + Node Exporter + DCGM Exporter，这个组合比较轻量，适合中小型团队。
企业版：Grafana + Prometheus，这个可以做出很漂亮的监控面板，老板看了都点赞。
云服务版：如果你用的是云服务器，各大云厂商都有自己的监控服务，开箱即用，省心但费钱。
我个人比较推荐Prometheus方案，虽然搭建起来稍微麻烦点，但后期维护成本低，而且功能足够强大。
写在最后
好了，关于服务器GPU查看的方法，我已经把压箱底的干货都掏出来了。从最基础的命令到高级的监控系统，相信总有一款适合你。记住，熟练查看GPU状态不是一朝一夕的事，得多练多用。
刚开始可能会觉得记不住那么多参数，没关系，先把nvidia-smi这个主力工具用熟练，其他的慢慢来。最重要的是养成定期检查GPU状态的习惯，这样才能及时发现问题，保证你的服务器始终保持在最佳状态。
如果还有什么不明白的，欢迎随时交流。毕竟在运维这条路上，大家都是这么一步步摸索过来的！
内容均以整理官方公开资料，价格可能随活动调整，请以购买页面显示为准，如涉侵权，请联系客服处理。
本文由星速云发布。发布者：星速云。禁止采集与转载行为，违者必究。出处：https://www.67wa.com/144157.html
