Linux服务器查看GPU数量与使用情况的完整指南

作为一名服务器管理员或者深度学习工程师，你一定经常需要在Linux服务器上查看GPU的情况。无论是刚接手一台新服务器，还是监控正在运行的训练任务，掌握GPU信息都至关重要。今天我就来详细讲解几种实用的方法，帮你快速了解服务器上的GPU资源。

为什么需要查看GPU信息？

在开始具体操作之前，我们先聊聊为什么需要查看GPU信息。对于AI训练、科学计算或者图形渲染等任务来说，GPU是最宝贵的计算资源。通过查看GPU信息，我们可以：了解服务器硬件配置，合理分配计算任务；监控GPU使用情况，避免资源浪费；排查性能问题，优化程序运行效率。特别是当多人共用一台服务器时，实时掌握GPU状态就显得更加重要了。

最常用的nvidia-smi命令

nvidia-smi是NVIDIA官方提供的GPU管理工具，可以说是查看GPU信息的“瑞士军刀”。这个工具通常在安装NVIDIA驱动时就会自动安装好。

使用方法非常简单，直接在终端输入：

nvidia-smi

这个命令会输出一个详细的表格，包含了丰富的信息：GPU编号、显卡型号、显存使用情况、GPU利用率、运行温度，还有当前正在运行的进程等。你可以清晰地看到每张GPU的“健康状况”。

表格的第一列是GPU编号，从0开始依次递增，这个编号直接告诉你服务器上有多少张GPU。比如你看到编号0、1、2，那就说明服务器上有3张GPU卡。

实时监控GPU状态

有时候我们需要持续观察GPU的使用情况变化，比如在模型训练过程中。这时候可以使用watch命令结合nvidia-smi来实现实时监控。

具体命令是：

watch -n 1 nvidia-smi

这个命令会每秒刷新一次GPU状态，让你能够实时看到显存占用、GPU利用率的变化趋势。这对于调试程序、优化资源使用特别有帮助。

简洁好用的gpustat工具

如果你觉得nvidia-smi的输出信息太多，想要一个更简洁的界面，那么gpustat是个不错的选择。

首先需要安装gpustat：

pip install gpustat

安装完成后，直接运行gpustat就能看到精简版的GPU信息，包括温度、显存使用情况，还有占用GPU的进程信息。

gpustat的输出非常直观，一眼就能看出哪些GPU正在使用，哪些处于空闲状态。对于日常的GPU监控来说，这个工具足够用了。

通过编程方式获取GPU信息

如果你正在编写Python程序，特别是使用PyTorch或TensorFlow框架，可以直接在代码中获取GPU信息。

使用PyTorch的例子：

• 查看GPU数量：torch.cuda.device_count
• 查看当前使用的GPU：torch.cuda.current_device
• 查看每个GPU的名称：torch.cuda.get_device_name(i)

这种方法特别适合在程序中动态调整资源分配，比如根据可用GPU数量来决定数据并行策略。

其他辅助查看方法

除了上面介绍的主流方法，还有一些辅助手段可以帮助你了解GPU信息。

lspci命令可以列出所有的PCI设备，通过过滤可以找到GPU设备：

lspci | grep -i –color ‘vga\|3d\|2d’

这个方法能够显示基本的GPU信息，不过可能不会显示具体的型号和详细参数。

你还可以查看/proc/driver/nvidia/gpus目录，这个目录下的每个子目录都代表一个GPU设备。这种方法比较底层，适合在特殊情况下使用。

各种方法对比总结

为了方便你选择合适的方法，我把各种查看方式的优缺点整理成了表格：

根据我的经验，对于大多数用户来说，nvidia-smi和gpustat是最实用的选择。nvidia-smi功能全面，gpustat显示简洁，你可以根据具体需求来选择。

实际应用场景建议

在实际工作中，我建议你这样使用这些工具：日常快速查看用gpustat，需要详细分析时用nvidia-smi，调试训练过程时用watch nvidia-smi实时监控。

记得定期检查GPU的健康状况，特别是温度指标。如果发现某张GPU温度持续偏高，可能需要检查散热情况或者调整任务分配。

掌握这些GPU查看方法，你就能够更好地管理和利用服务器上的GPU资源，让宝贵的计算资源发挥最大价值。无论是个人使用还是团队协作，这些技能都会让你的工作效率大大提升。