服务器GPU查看全攻略：从基础命令到性能监控

为什么我们需要查看服务器GPU？

大家好，今天咱们来聊聊服务器GPU查看这个话题。说到服务器，很多人可能觉得离自己很远，其实不然。现在很多公司都在用GPU服务器做深度学习、科学计算，甚至渲染视频。如果你是个运维人员，或者是个搞AI的开发者，那学会查看服务器GPU状态就是必备技能了。

想象一下这个场景：你训练一个模型，跑了好几个小时，结果发现速度特别慢。这时候你是不是会想，是不是GPU没在工作？或者是显存不够了？这时候就需要查看GPU的状态了。再比如，你们公司新买了几台服务器，你想知道GPU型号对不对，有没有被正确识别，这也需要查看。

GPU查看的基本命令有哪些？

说到查看GPU，最常用的就是nvidia-smi这个命令了。这个是NVIDIA官方提供的工具，基本上装好驱动就会有。你只需要在终端输入：

nvidia-smi

这个命令一执行，就会显示很多有用信息。比如：

• GPU的型号和数量
• 每个GPU的温度
• 显存使用情况
• GPU利用率
• 正在运行的进程

除了nvidia-smi，还有个简单的命令是nvidia-smi -L，这个命令可以直接列出所有GPU的型号，比较简洁。

如何看懂nvidia-smi的输出信息？

第一次看到nvidia-smi的输出，可能会觉得眼花缭乱。别急，我来给你拆解一下。输出主要分几个部分：

这里要特别注意温度这个指标。如果GPU温度长期在90℃以上，那就要考虑散热是不是出问题了。GPU利用率如果一直是0%，那可能你的程序根本没用到GPU。

Linux系统下GPU查看技巧

在Linux服务器上，除了基本的nvidia-smi，还有一些进阶用法。比如你想定时监控GPU状态，可以这样写：

watch -n 1 nvidia-smi

这个命令会每1秒刷新一次GPU状态，特别适合在跑训练的时候实时观察。

还有个实用的技巧是查看具体哪个进程在用GPU：

nvidia-smi –query-compute-apps=pid,process_name,used_memory –format=csv

这个命令能清楚地显示每个进程用了多少显存，方便你发现异常进程。

Windows服务器如何查看GPU？

虽然大部分GPU服务器都用Linux，但也有一些Windows服务器。在Windows下查看GPU，最简单的方法就是打开任务管理器，切换到性能标签页，那里能看到GPU的使用情况。

不过任务管理器显示的信息比较有限，如果想看更详细的信息，还是得用nvidia-smi。在Windows下，你需要到NVIDIA驱动安装目录下的C:\Program Files\NVIDIA Corporation\NVSMI文件夹里找到nvidia-smi.exe，然后在命令行运行。

还有个办法是安装GPU-Z这个软件，它能显示非常详细的GPU信息，包括核心频率、显存频率等。

GPU监控与告警设置

光会查看还不够，真正专业的运维还需要设置监控和告警。比如当GPU温度超过85℃，或者显存使用率超过95%时，能及时收到通知。

常用的监控方案有：

• 使用Prometheus + Grafana搭建监控面板
• 使用DCGM（NVIDIA Data Center GPU Manager）
• 自写脚本配合邮件或钉钉告警

我比较推荐用Prometheus这套方案，虽然配置起来稍微麻烦点，但功能很强大，可以历史回溯，做趋势分析。

常见问题与解决方法

在实际使用中，经常会遇到一些问题。我总结几个常见的：

问题一：nvidia-smi命令找不到
这通常是驱动没装好，或者环境变量有问题。可以先检查驱动安装状态，再看看PATH里是否包含nvidia-smi所在路径。

问题二：GPU显示但不工作
有时候nvidia-smi能显示GPU，但程序就是不用GPU跑。这可能是CUDA环境没配置好，或者程序本身没设置使用GPU。

问题三：显存泄漏
这是个比较头疼的问题，程序运行时间长了，显存一直被占用不释放。这时候就需要用前面提到的命令找到具体进程，然后重启相关服务。

GPU资源管理与优化建议

最后给大家一些GPU资源管理的建议。如果是多人共用服务器，最好设置资源配额。可以用Docker配合nvidia-docker来隔离环境，避免互相影响。

定期检查GPU健康状况也很重要。建议每周至少检查一次：

• GPU温度是否正常
• 风扇转速是否合理
• 是否有ECC错误（专业卡）
• 驱动和CUDA版本是否需要更新

记住，好的使用习惯能延长GPU寿命，提高工作效率。不要等到出问题了才去查看，要养成定期检查的好习惯。