服务器GPU占用查看与优化全攻略

作为一名经常与服务器打交道的开发者，你是否曾经遇到过这样的情况：模型训练突然变慢，程序莫名其妙崩溃，或者发现GPU资源总是被神秘进程占用？这些都是GPU资源管理不当的典型表现。今天，我们就来聊聊如何高效查看服务器GPU占用，以及如何优化GPU资源使用。

为什么需要关注GPU占用？

GPU已经成为深度学习、科学计算等领域不可或缺的计算资源。但现实中，很多开发者对GPU资源的使用情况并不了解，导致资源浪费严重。有些程序明明不需要那么多资源，却”霸占”着GPU不放；有些程序在大多数时间都处于闲置状态，却一直占用着显存。这不仅影响个人工作效率，还会拖累整个团队的项目进度。

更重要的是，通过监控GPU使用情况，我们能够：确保模型训练和推理过程中资源的稳定供应，加快模型训练速度，及时发现系统潜在问题，避免系统崩溃或性能下降。对于银行、金融等业务关键系统，这直接关系到业务的连续稳定运行。

基础命令：nvidia-smi的使用

nvidia-smi是NVIDIA官方提供的GPU管理工具，可以说是AI开发者的”救命稻草”。大多数Linux服务器都已经预装了这个工具，如果还没有安装，可以通过简单的命令安装：

sudo apt-get install nvidia-smi

直接输入nvidia-smi命令，你会看到一个详细的GPU状态表格。这个表格包含了GPU型号、驱动版本、CUDA版本、显存使用率和GPU利用率等关键信息。通过这些数据，你可以一目了然地看到每张显卡”累不累”、”还剩多少空间”。

为了更好地实时监控，你可以结合watch命令使用：

• watch -n 1 nvidia-smi
  每1秒刷新一次
• watch -n 5 nvidia-smi
  每5秒刷新一次

进阶工具：更友好的监控方案

如果你觉得nvidia-smi的输出信息太复杂，别担心，还有更简洁的工具可以选择。

gpustat是一个轻量级的GPU状态监控工具，它能给出更简洁、更友好的GPU运行概览。安装也很简单，只需要在Python环境中执行：

pip install gpustat

安装完成后，直接输入gpustat就能看到彩色的、易于阅读的GPU状态信息。

nvitop是另一个强烈推荐的工具，它类似于我们熟悉的htop命令，但是专门为GPU监控设计的。它能够实时显示GPU的使用情况，并且可以清晰地看到是哪个进程在占用GPU资源。

如何查找占用GPU的具体进程？

当你发现GPU被占用，但不知道是哪个程序在用时，就需要一些技巧来找出”罪魁祸首”。

你可以尝试使用fuser -v /dev/nvidia*命令，但这个命令有时候显示的信息不够全面。这时候，可以尝试以下几种方法：

• 使用pgrep和grep：pgrep -l fnvidia | grep python
• 使用ps和grep：ps aux | grep python | grep -i nvidia
• 使用nvidia-smi的高级功能：nvidia-smi -q能够输出更详细的进程信息

在top或htop中，你可以按f键，然后输入python或其他关键词来过滤出与GPU相关的进程。

CPU与GPU监控的协同使用

虽然我们主要关注GPU占用，但CPU的使用情况同样重要。top命令是Linux系统中的”任务管理器”，能够实时动态显示系统进程。

使用top命令时，重点关注这几个指标：

• Cpu(s)行：us（用户空间）和sy（内核空间）的百分比越高，说明CPU越忙
• load average：后面的三个数字分别代表过去1、5、15分钟的系统平均负载
• %CPU列：每个进程占用的CPU百分比

通常情况下，load average的数值不应该超过CPU核心数，如果数值偏高，说明系统很忙。

服务器资源使用的最佳实践

为了避免影响其他用户，同时也保证自己的程序稳定运行，这里有一些实用的建议：

要了解你所在服务器的资源限制。保证自己的账号CPU线程数不超过48、内存不超过200G是比较安全的范围。短时间的超限是可以理解的，但如果长时间占用过多资源，就可能会被监控程序kill掉进程。

养成良好的资源使用习惯：

• 程序运行结束后及时释放资源
• 使用screen或tmux等工具管理长时间运行的任务
• 定期检查自己的进程，避免产生”僵尸进程”

实战案例：解决常见的GPU占用问题

让我们来看几个实际工作中经常遇到的问题和解决方案。

问题一：GPU显存被占用但GPU利用率很低

这种情况通常是因为某个程序异常退出，没有正确释放显存。解决方法是通过nvidia-smi找到占用显存的进程ID，然后用kill命令结束该进程。

问题二：多用户环境下的资源冲突

在团队共享的服务器上，经常会出现多个用户争抢GPU资源的情况。这时候，使用nvidia-smi -q查看详细的进程信息，然后与团队成员沟通协调资源使用。

问题三：训练过程中GPU使用率波动大

这可能是由于数据加载速度跟不上模型计算速度，可以尝试增加数据加载的worker数量，或者使用更快的存储设备。

通过掌握这些GPU监控和优化的方法，你不仅能够提高个人的工作效率，还能为整个团队创造更好的工作环境。记住，好的开发者不仅要会写代码，更要会管理资源。