服务器GPU使用情况查看全攻略与性能监控指南

作为一名服务器管理员或深度学习工程师，你是否曾经遇到过这样的困扰：程序运行缓慢，却不知道是不是GPU出了什么问题？想要查看显卡使用情况，又不知道该用什么工具？别担心，今天我就来给大家详细讲解一下服务器GPU使用情况的查看方法，让你轻松掌握显卡性能监控的技巧。

为什么需要监控服务器GPU使用情况？

GPU作为现代计算的重要组成部分，在深度学习、图形渲染、科学计算等领域发挥着关键作用。及时了解GPU的使用情况，不仅能帮助我们优化程序性能，还能避免资源浪费和设备损坏。比如，当GPU利用率持续过高时，可能会导致设备过热，缩短硬件寿命；而如果显存使用不当，则可能引发程序崩溃。掌握GPU监控方法对每个服务器使用者来说都是必备技能。

NVIDIA显卡查看方法详解

对于大多数服务器来说，NVIDIA显卡是最常见的选择。查看NVIDIA GPU使用情况主要依赖于官方提供的nvidia-smi工具，这个工具在安装NVIDIA驱动后就会自动包含。

基础查看命令：直接在终端输入nvidia-smi，就能看到所有NVIDIA GPU的详细信息。输出内容包括：GPU编号、名称、温度、显存使用情况（总量、已使用、剩余）、GPU利用率等。更重要的是，它还能显示当前占用GPU的进程信息，包括PID、进程名和显存占用情况。

实时监控技巧：如果你想要实时观察GPU状态的变化，可以使用watch -n 1 nvidia-smi命令，这样就能每秒刷新一次显示结果，方便你追踪GPU使用情况的变化趋势。

AMD显卡的监控方案

虽然AMD显卡在服务器领域相对较少，但也有一些特定场景下会使用。对于AMD GPU，我们需要使用ROCm工具链中的rocm-smi命令。使用方法与nvidia-smi类似，直接输入rocm-smi就能查看GPU的基本信息。同样地，使用watch -n 1 rocm-smi可以实现实时监控。

通用监控工具推荐

除了官方工具外，还有一些第三方工具能够提供更加友好的监控体验，而且通常支持多品牌GPU。

gpustat工具：这是一个基于Python开发的命令行工具，安装非常简单，只需要执行pip install gpustat即可。使用gpustat命令能够以更加简洁直观的方式显示GPU状态，而且颜色标识让重要信息一目了然。

glances系统监控工具：这是一个功能全面的系统监控工具，除了能监控CPU、内存等传统指标外，也支持GPU监控。在Ubuntu/Debian系统上可以通过sudo apt install glances安装。

服务器GPU数量查看方法

有时候我们需要确认服务器到底安装了多少张GPU卡，这时候有几种方法可以帮助我们快速识别。

使用nvidia-smi查看：运行nvidia-smi命令后，系统会为每个GPU显示一个独立的区域，通过数这些区域就能知道GPU的数量。

lspci命令排查：通过lspci | grep -i --color 'vga\|3d\|2d'可以列出所有与图形相关的PCI设备。这种方法虽然不能显示详细的使用情况，但能够快速确认GPU的物理存在。

Windows服务器GPU监控

虽然大多数服务器运行Linux系统，但也有部分场景会使用Windows服务器。在Windows系统中查看GPU使用情况相对更加简单直观。

任务管理器查看：这是最方便快捷的方法，按下Ctrl+Shift+Esc打开任务管理器，在”性能”选项卡中选择”GPU”，就能看到显卡的实时使用率。Windows 10和Windows 11的任务管理器都提供了相当详细的GPU监控功能。

DirectX诊断工具：通过Windows+R快捷键打开运行窗口，输入dxdiag后回车，在”显示”选项卡中可以看到GPU的详细信息。

GPU监控实战技巧与问题排查

掌握了基本的查看方法后，我们还需要了解一些实战技巧和常见问题的解决方案。

多GPU环境下的程序指定：当服务器中有多个GPU时，我们可以通过设置CUDA_VISIBLE_DEVICES环境变量来指定程序使用哪个GPU。例如，CUDA_VISIBLE_DEVICES=0 python test.py就是让test.py程序只使用序号为0的GPU。

命令不存在的解决方案：如果你在终端输入nvidia-smi后提示命令不存在，这通常意味着没有安装NVIDIA驱动程序。这时候你需要先安装对应版本的NVIDIA驱动，然后再使用监控工具。

在实际工作中，建议将常用的监控命令设置为别名，比如在.bashrc文件中添加alias gpu='nvidia-smi'和alias gpuwatch='watch -n 1 nvidia-smi'，这样就能大大提高工作效率。

建立定期检查的习惯也很重要。你可以设置定时任务，定期记录GPU的使用情况，这样不仅能够及时发现问题，还能为后续的性能优化提供数据支持。

通过本文介绍的方法，相信你已经能够熟练地查看服务器GPU的使用情况了。记住，良好的监控习惯是保证服务器稳定运行的重要保障。现在就去试试这些方法，开始你的GPU监控之旅吧！