PVE显卡直通全攻略：从零搭建AI大模型服务器

最近在折腾AI大模型的朋友们，想必都遇到了一个共同的难题：想要在虚拟化环境中获得接近物理机的GPU性能。这不，我最近就在研究如何在Proxmox Virtual Environment（PVE）中配置显卡直通，把宿主机上的显卡直接分配给AI虚拟机使用。经过一番摸索，终于搞定了这个看似复杂的技术难题，今天就和大家分享我的实战经验。

为什么需要显卡直通？

在AI大模型训练和推理过程中，GPU的性能直接影响着模型的运行效率。传统的虚拟化环境中，虚拟机通过虚拟化驱动程序访问GPU，这种方式会带来不小的性能损耗。而显卡直通技术允许虚拟机直接访问物理显卡，几乎可以达到原生性能，这对于计算密集型的AI任务来说至关重要。

简单来说，显卡直通就像给虚拟机开了个”后门”，让它能够绕过虚拟化层，直接和显卡”对话”。这样做的好处显而易见：

• 性能提升显著：直通后GPU性能损失可以控制在5%以内
• 兼容性更好：可以直接使用官方的GPU驱动程序
• 资源利用率高：多个虚拟机可以分别直通不同的物理显卡

环境准备：硬件与软件要求

在开始配置之前，我们需要确保硬件和软件环境都满足要求。根据我的经验，以下配置是比较稳妥的选择：

硬件环境方面，我使用的是科脑X99-D4服务器平台，配备2*32G DDR4内存和Intel E5-2683 v4处理器。显卡方面选择了性价比很高的NVIDIA P104-100矿卡，当然这个方法同样适用于其他型号的显卡。

软件环境我选择了PVE 8.0.4作为虚拟化平台，AI虚拟机安装的是Ubuntu 22.04系统。这里要特别提醒大家，一定要在BIOS中开启VT-x和VT-d等虚拟化扩展功能，这是实现显卡直通的前提条件。

开启IOMMU：打通直通的关键一步

IOMMU（Input/Output Memory Management Unit）是实现显卡直通的核心技术，它能够让设备直接访问指定的内存区域。配置IOMMU需要修改GRUB引导参数，这是整个过程中最关键的步骤之一。

具体操作是编辑/etc/default/grub文件，将GRUB_CMDLINE_LINUX_DEFAULT参数修改为：

GRUB_CMDLINE_LINUX_DEFAULT=”quiet intel_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream

如果你使用的是AMD平台，需要将intel_iommu=on改为amd_iommu=on。修改完成后，记得运行update-grub命令更新配置，然后重启系统。

配置VFIO驱动：架起直通的桥梁

VFIO（Virtual Function I/O）是现代Linux内核中用于设备直通的框架，它提供了更安全、更高效的设备直通方案。配置VFIO驱动需要在/etc/modules文件中添加以下模块：

• vfio
• vfio_iommu_type1
• vfio_pci
• vfio_virqfd

这些驱动模块会在系统启动时自动加载，为显卡直通提供必要的支持。在实际操作中，我发现这个步骤虽然简单，但很容易被忽略，导致后续配置失败。

识别设备ID：精准锁定目标显卡

在多显卡的环境中，准确识别要直通的显卡设备ID非常重要。我们可以通过lspci -nn命令查看所有PCI设备的信息，找到目标显卡的厂商ID和设备ID。

以NVIDIA显卡为例，通常设备ID的格式是10de:xxxx。记下这个ID，在后续的直通配置中会用到。这个步骤就像是给要直通的设备贴上一个”专属标签”，确保只有目标设备被直通。

创建虚拟机并直通显卡

现在到了最激动人心的环节——创建AI虚拟机并直通显卡。在PVE管理界面中创建虚拟机时，有几个关键配置需要注意：

在系统设置中，要将机器类型设置为q35，BIOS选择OVMF（UEFI）。这些设置对于显卡直通的成功至关重要。创建完虚拟机后，我们需要在硬件设置中添加PCI设备，这里就要用到之前记录的设备ID了。

添加PCI设备时，要勾选”所有功能”和”PCI-Express”选项，这样能确保显卡的所有功能都能被正常使用。配置完成后启动虚拟机，如果一切正常，你应该能在虚拟机中看到直通的显卡了。

常见问题与解决方案

在实际配置过程中，我遇到了不少问题，这里总结几个典型的解决方案：

问题一：直通后宿主机黑屏
这是因为显卡在直通后，宿主机无法再使用该显卡进行显示输出。解决方案是在GRUB参数中添加video=efifb:off或使用initcall_blacklist=sysfb_init来禁用帧缓冲。

问题二：IOMMU分组不理想
有时候我们希望直通的设备和其他设备分开，但系统将它们分在了同一个IOMMU组中。这时可以使用pcie_acs_override=downstream参数来强制拆分IOMMU组。

问题三：驱动程序冲突
在直通前，建议先在宿主机上卸载显卡的原生驱动，避免驱动程序之间的冲突。

性能测试与优化建议

配置完成后，我进行了一系列性能测试。结果显示，通过显卡直通，AI虚拟机的GPU计算性能达到了物理机的95%以上，这个结果相当令人满意。

为了获得最佳性能，我建议大家：

• 为虚拟机分配足够的内存，特别是运行大模型时
• 使用SSD存储来提高数据读写速度
• 定期更新PVE系统和显卡驱动
• 监控GPU温度，确保散热良好

显卡直通技术为我们在虚拟化环境中运行AI大模型提供了近乎原生的性能体验。虽然配置过程有些复杂，但一旦成功，你会发现所有的努力都是值得的。希望这篇文章能够帮助到正在探索这个技术的朋友们，让大家都能轻松搭建自己的AI计算平台！