快速掌握服务器GPU状态，这些命令你都会用吗？

为啥要关心服务器GPU？

咱们先唠唠为啥要查服务器GPU。现在搞AI训练、视频渲染或者科学计算的朋友越来越多了，这些活儿可都是GPU的大户。你要是负责维护服务器，那就得时刻盯着GPU的状况，不然等到程序跑不动了，用户开始抱怨了，那可就晚了。就像开车要看仪表盘一样，服务器GPU就是咱们的“仪表盘”，得随时瞅一眼。

有些朋友可能觉得，我装了显卡不就能用了吗？还真不是这样。GPU在工作时会发热、会耗电，有时候还会遇到驱动问题。要是多个用户一起用，还可能因为抢资源打起来。所以啊，定期检查GPU的状态，就像定期给车做保养一样，不能偷懒。

Windows服务器怎么查GPU？

如果你用的是Windows服务器，查GPU信息其实挺简单的。最直接的方法就是通过任务管理器。

你只需要在任务栏右键点击，选择“任务管理器”，然后切换到“性能”标签页。往下拉，如果能找到“GPU”这一项，那就说明系统识别到你的显卡了。在这里你能看到GPU的使用率、显存使用情况、温度等基本信息。

• GPU使用率：就像CPU使用率一样，告诉你GPU忙不忙
• 专用GPU内存：就是显存，看看还剩多少
• 共享GPU内存：系统内存被拿来当显存用的部分

除了任务管理器，你还可以用设备管理器看看驱动装对了没有。在“显示适配器”下面，应该能看到你的GPU型号。如果这里显示的是“基本显示适配器”，那说明驱动没装好，得重新安装一下。

Linux服务器查GPU的几种方法

Linux服务器是AI训练和科学计算的主力，所以查GPU的方法也更多样。咱们先说几个常用的命令。

首先是最常用的nvidia-smi命令。如果你用的是NVIDIA的显卡，在终端里输入这个命令，就能看到很详细的信息：

nvidia-smi

这个命令会显示所有GPU的实时状态，包括温度、功耗、显存使用情况、正在运行的进程等。信息很全，但有时候看起来有点复杂。

如果你想看更简洁的信息，可以试试：

nvidia-smi –query-gpu=index,name,temperature.gpu,utilization.gpu,memory.used,memory.total –format=csv

这样就只显示你关心的那几个指标，看起来清爽多了。

那些实用的GPU监控命令

知道了基本命令，咱们再深入聊聊一些实用的监控技巧。

有时候你需要持续监控GPU的状态，这时候可以用watch命令：

watch -n 1 nvidia-smi

这个命令会每1秒刷新一次GPU信息，让你实时看到变化。在做模型训练的时候特别有用，你能看到显存使用量慢慢增加，GPU利用率上下波动。

还有个很实用的功能是查看哪个进程在占用GPU：

nvidia-smi –query-compute-apps=pid,process_name,used_memory –format=csv

如果发现某个进程占着GPU不放，你就可以用kill命令把它停掉，释放资源给其他更重要的任务。

远程查看服务器GPU状态

咱们不可能老是坐在服务器前面操作，很多时候需要远程查看GPU状态。这里有几个好用的方法。

最简单的就是通过SSH连接服务器，然后运行前面说的那些命令。比如：

ssh username@server_ip “nvidia-smi

这样就能在本地看到远程服务器的GPU状态了。虽然简单，但每次都要手动输入命令，有点麻烦。

如果你想要更高级的监控，可以搭建监控系统。比如用Prometheus配合Node Exporter和DCGM Exporter，这样就能在网页上看到漂亮的图表，还能设置报警规则。当GPU温度太高或者显存快用满的时候，系统会自动发邮件或者短信提醒你。

对于小团队来说，也可以用开源的GPU监控工具，比如Netdata或者Zabbix，配置起来相对简单，功能也够用。

常见的GPU问题怎么解决？

查GPU的时候，经常会遇到一些问题，咱们来看看怎么处理。

问题一：命令找不到

如果你输入nvidia-smi，系统说命令找不到，那很可能是驱动没装好，或者环境变量没设置对。这时候需要重新安装驱动，或者把nvidia-smi所在的目录加到PATH环境变量里。

问题二：GPU显示不出来

有时候系统检测不到GPU，可能是这些原因：

• 显卡没插好，重新插拔一下
• 电源供电不足，换个大功率电源试试
• PCI-E插槽有问题，换个插槽
• BIOS设置里把PCI-E禁用了，进去开启一下

问题三：显存泄漏

这个问题比较棘手，程序运行完后没释放显存，导致显存越用越少。解决方法是找到那个捣乱的进程，把它停掉。如果找不到是哪个进程，重启系统是最快的解决办法。

建立自己的GPU监控体系

知道了各种查GPU的方法，咱们最后聊聊怎么建立一套完整的监控体系。

首先得确定要监控哪些指标。对于GPU来说，重要的指标包括：

• GPU利用率
  看看显卡忙不忙
• 显存使用率
  别让显存爆了
• 温度
  太热了会降频，影响性能
• 功耗
  电费也是成本啊

然后要设定合理的阈值。比如GPU温度超过85度就要报警，显存使用超过90%也要提醒。这些阈值要根据你的具体设备和业务需求来定。

最后是选择监控工具。如果是个人用，写个脚本定时检查就行了。如果是团队用，建议用专业的监控系统，大家都能在网页上看到状态，出了问题也好分工处理。

记住，好的监控不是为了出问题了才去看，而是为了提前发现问题，避免问题。就像老司机说的，最好的维修是保养，最好的处理是预防。