GPU服务器开机卡91故障排查与解决方案详解

大家好！今天我们来聊聊一个让很多运维工程师头疼的问题——GPU服务器开机卡91。相信不少朋友在维护GPU集群时都遇到过这种情况，服务器开机时突然卡住，屏幕上显示着那个令人焦虑的”91″代码，整个系统就像被施了定身术一样动弹不得。

什么是开机卡91故障？

开机卡91，简单来说就是服务器在启动过程中，在某个环节被卡住了，无法继续完成启动流程。这个代码通常是主板BIOS在自检过程中发出的信号，表示系统在检测到某个硬件设备时遇到了问题。

在实际运维中，这种情况并不少见。特别是在HPC（高性能计算）和AI基础设施场景中，由于GPU卡数量多、使用频率高，出现这类故障的概率相对较高。 服务器开机时，BIOS会按顺序检测各个硬件组件，当检测到GPU设备时出现问题，就会导致启动过程中断。

故障发生的常见原因

根据运维经验，开机卡91故障通常可以归纳为以下几类原因：

• GPU硬件故障：这是最常见的原因之一。GPU芯片、显存或供电模块出现物理损坏，都会导致BIOS无法正常识别设备。
• PCIe插槽问题：插槽接触不良、金手指氧化或者插槽本身损坏都可能引发故障
• 电源供应不足：GPU对供电要求较高，如果电源功率不足或供电线连接不稳，就会影响正常启动
• 散热系统故障：GPU散热片松动或风扇故障导致温度异常，也可能触发保护机制

特别需要注意的是，在多GPU服务器的环境中，只要有一张卡出现问题，就可能导致整个系统无法启动，这就是所谓的”一颗老鼠屎坏了一锅粥”效应。

快速排查步骤指南

遇到开机卡91的情况，不要慌张，按照以下步骤进行排查：

进行物理连接检查。断电后拔插GPU供电线，确保8Pin或16Pin接口连接牢固，没有松动现象。同时检查GPU金手指部分，如果有氧化迹象，可以用橡皮擦轻轻擦拭清洁。

执行交叉验证测试。这是判断故障源的核心步骤：

将疑似坏卡拔下，插入另一台正常服务器，用nvidia-smi验证是否仍无法识别；同时将正常服务器的GPU插入疑似坏卡的插槽，验证是否能正常识别

如果交叉验证后，疑似坏卡在其他服务器上仍然无法识别，基本可以判定是GPU硬件本身出了问题。

BIOS层面的诊断方法

除了物理层面的检查，BIOS设置也是排查的重点。开机时按Del或F2键进入BIOS界面，在PCIe Configuration中查看是否识别到GPU设备。如果BIOS中完全看不到GPU设备，那很可能是硬件连接或设备本身的问题。

在一些服务器中，还可以尝试以下操作：

• 重置BIOS设置为默认值
• 更新BIOS到最新版本
• 检查PCIe链路速度和宽度设置

不同品牌GPU的特别注意事项

不同品牌的GPU在故障表现和处理方式上可能有所差异：

预防措施与日常维护

与其等到故障发生后再手忙脚乱地处理，不如提前做好预防工作。以下是一些实用的预防建议：

定期检查维护：建议每季度对GPU服务器进行一次全面检查，包括清洁金手指、检查散热系统、验证供电稳定性等。

环境监控：确保机房温度、湿度在合理范围内，避免环境因素导致设备故障。

负载均衡：在AI训练任务调度时，合理安排GPU负载，避免单卡长期高负荷运行。

实战案例分析

某AI公司的一个GPU集群突然出现多台服务器开机卡91的故障。经过排查，发现是由于机房温度过高导致部分GPU散热不良，触发了保护机制。通过改善空调系统和调整任务调度策略，问题得到了有效解决。

另一个案例中，运维团队发现只有在特定PCIe插槽上的GPU会出现问题。经过仔细检查，发现是主板上的PCIe插槽存在制造缺陷，更换主板后故障彻底消除。

总结与建议

GPU服务器开机卡91虽然是个让人头疼的问题，但只要掌握了正确的排查思路和方法，就能快速定位并解决问题。记住几个关键点：先软后硬、先外后内、交叉验证、系统排查。

最重要的是，建立完善的监控体系和应急预案，这样在故障发生时就能从容应对。毕竟在AI计算和科学研究中，时间就是金钱，快速恢复服务才是最重要的。

希望这篇文章能帮助大家在遇到类似问题时少走弯路。如果你有更好的处理经验，欢迎分享交流！