Ubuntu服务器GPU使用情况查看与用户占用分析

在多人使用的Ubuntu服务器环境中，GPU资源的管理和监控是个常见问题。当多个用户共享服务器时，经常会出现GPU资源分配不明确的情况，这时候就需要一套有效的方法来查看谁在使用GPU，以及如何合理分配这些宝贵资源。

为什么需要监控GPU使用情况

GPU作为深度学习训练、科学计算等任务的核心硬件，其资源往往非常紧张。在团队协作的服务器环境中，经常会遇到这样的情况：明明GPU看起来很空闲，但当你想要使用时却被告知资源已被占用；或者某个用户的进程长时间占用GPU却不自知，影响其他人的使用。这时候，学会查看GPU使用情况就显得尤为重要。

基础命令：nvidia-smi的使用

查看GPU使用情况最直接的方法就是使用nvidia-smi命令。这个命令能够显示当前GPU的基本信息，包括：

• GPU型号和驱动版本
• GPU利用率（GPU-Util）
• 显存使用情况（Memory-Usage）
• 运行在GPU上的进程信息

当你执行nvidia-smi命令后，会看到一个清晰的表格，其中包含了每个GPU的详细状态。特别要注意的是进程ID（PID）这一列，它记录了当前正在使用GPU的进程编号，这是我们后续追踪用户信息的关键。

追踪具体用户：从进程到使用者

知道了进程ID后，下一步就是找出这个进程属于哪个用户。这里有两种常用的方法：

方法一：使用ps命令

通过执行ps -f -p [进程ID]命令，可以获取该进程的详细信息。在输出结果中，UID字段表示用户ID，PID表示进程号，PPID表示父进程号，TIME表示执行时间，CMD表示执行命令。这样就能准确知道是哪个用户在运行这个GPU进程了。

举个例子，如果你在nvidia-smi中看到进程26359正在使用GPU，那么执行ps -f -p 26359就能显示该进程的用户信息。

高级工具：gpustat的安装与使用

除了基本的nvidia-smi命令，还有一个更加方便的工具——gpustat。这个工具能够以更加友好的方式显示GPU使用情况，特别是用户信息。

安装gpustat很简单，使用pip命令即可：

pip install gpustat

安装完成后，直接运行gpustat命令，就能看到一台服务器上所有显卡的使用者和GPU占用情况。这个工具的优势在于它直接将用户信息与GPU使用情况关联显示，省去了手动查询进程的步骤。

实时监控技巧

有时候我们需要实时监控GPU的使用情况变化，这时候可以配合watch命令使用。执行watch -n 1 nvidia-smi就能让GPU信息每秒刷新一次，方便我们观察使用情况的变化趋势。

对于gpustat工具，同样可以使用watch命令实现实时监控：watch -n 1 gpustat。当需要退出监控时，按下Ctrl+Z即可。

完整监控方案：结合CPU和内存监控

一个完整的服务器监控方案应该包含GPU、CPU和内存的全面监控。对于CPU和内存使用情况，可以使用htop工具。首先安装htop：sudo apt-get install htop，然后在终端输入htop即可查看详细的CPU和内存使用情况。

内存监控还可以使用free或free -h命令（-h参数会以人类可读的格式显示）。这样结合使用，就能对服务器的整体资源状况有全面的了解。

实际应用场景与问题解决

在实际工作中，这些监控技巧能帮助我们解决很多实际问题。比如当发现GPU被长时间占用时，可以联系相应用户确认是否还在使用；当资源分配不均衡时，可以协调不同用户的使用时间；当出现异常占用时，能够快速定位问题进程。

记得定期检查GPU使用情况，建立良好的资源使用规范，这样才能让有限的GPU资源发挥最大的价值，避免资源浪费和冲突。