多GPU服务器互联架构：AI计算的核心引擎

如果你曾经好奇过，为什么现在的人工智能应用能够如此快速地响应你的问题，或者为什么视频生成工具能在几分钟内创作出精美的内容，那么答案很可能就藏在多GPU服务器的互联架构中。这不仅仅是把几块显卡塞进一个机箱那么简单，而是如何让它们高效协同工作的精妙艺术。

为什么我们需要多GPU服务器？

想象一下，你要训练一个拥有上千亿参数的大语言模型，这就像是让一个超级大脑学习人类所有的知识。单块GPU的能力在这里显得捉襟见肘，就像是用一辆小轿车去搬运一座山。 多GPU服务器通过将计算任务分配到多个GPU上，能够把原本需要数月的训练时间缩短到几周甚至几天。这不仅仅是速度的提升，更是让我们能够挑战更大、更复杂模型的基石。

在实际应用中，多GPU训练主要基于数据并行的思想。 简单来说，就是把训练数据切成很多小份，交给不同的GPU分别处理。每块GPU算完自己的那份后，把结果汇总起来，一起更新模型参数。这种方式既简单又高效，是目前应用最广泛的并行策略。

大模型训练与推理的不同需求

大模型训练和推理就像是造车和开车，虽然都用GPU，但需求完全不同。训练阶段，模型规模巨大且持续增长，数据量庞大且多样化，计算密集且耗时长。这时候，AI服务器的核心诉求是：更大的计算规模、更大的缓存容量、更大的通信带宽。

而到了推理阶段，情况就变了。单次推理数据量不大，但涉及的数据离散性较大。这时候更关注的是快速响应和用户体验，同时要求更低的推理成本。对AI服务器的诉求变成了：较大的单域计算规模、灵活的缓存配比、更低的通信延时。

以阿里云发布的磐久AL128超节点服务器为例，它采用面向下一代超大集群的服务架构，重构了GPU间互连方式。相对于传统架构，同等AI算力下推理性能还能提升50%。 这个提升可不是小数目，对于需要服务大量用户的AI应用来说，意味着更快的响应速度和更低的运营成本。

GPU互联的几种关键技术

说到GPU互联，就不能不提PCIE通道这个关键因素。由于CPU自带的PCIE通道是固定且有限的，在实际应用中就会面临一些GPU卡没有足够通信通道可用的困境。

根据市面上常规的八卡机型，主要分为几种互联方式：

• 直连机型：以Gooxi AMD Milan平台4U8卡AI服务器为例，它内部搭载2颗AMD第三代处理器，整机可提供160条PCIE通道。8张双宽GPU占用128条通道后，还有剩余的32条可供其他部件使用。
• 扩展机型：当原本的PCIE通道不够用时，就需要采用Switch芯片进行信号扩展。这种方式能够提供更多的PCIE槽位，满足更复杂多样的应用场景。

在选择Switch连接时，又会面临几种拓扑形式的选择：是将连接的Switch挂在一颗CPU上，还是分别挂在不同CPU上？ 这就像是规划城市的交通网络，不同的布局方式会带来完全不同的通行效率。

超节点服务器的设计哲学

随着大模型竞赛进入推理阶段，各种推理大模型工具、AI助手、多模态内容理解与生成应用层出不穷。这一时期，AI服务器的设计更需要关注大模型推理的特定诉求：单域算力规模、低延时通信、灵活算力和缓存配比、更高的性价比。

“大模型训练/推理服务器的设计命题核心就指向了芯片互连，即：超节点服务器互连设计。”

这些因素之间既有相互依赖，又存在相互制约。算力和缓存大小可以在GPU芯片层面调整，但大模型推理中，不同应用场景、不同计算阶段的算力和缓存密集度要求是不同的。

比如使用万相模型做视频生成的场景，对算力密度要求更高，对缓存容量要求适中；而采用PD分离部署的千问混合专家模型，Prefill阶段是算力密集型场景，对缓存容量要求不高，但在Decode场景则对缓存容量和带宽要求更高。

KV Cache技术的巧妙应用

在优化大模型推理性能的过程中，KV Cache技术发挥了重要作用。这个技术的核心思想是用缓存空间换取计算时间，通过减少重复计算来提升效率。

但随着KV Cache数量的累积，对于KV Cache存取的优化就成为了关键挑战。这就像是在图书馆里，随着藏书量的增加，如何快速找到想要的书就变得越来越重要。

GPU芯片的异构化也是AI服务器设计的重要考量因素。在不同场景、不同节点采用异构的GPU芯片，能够更好地匹配具体应用的需求。但与此这也会增加芯片间通信的带宽和低延时要求。

未来发展趋势与挑战

在模型规模和算力诉求持续增长的背景下，单一的计算芯片算力有限、单一的缓存芯片容量有限，这使得超节点服务器互连设计成为了AI计算基础设施的核心命题。

神经网络架构搜索技术的发展历程中，一直有在计算层面上使用技巧实现搜索过程的加速。 并行计算是神经网络架构搜索技术发展伊始就应用的技术，早在2017年就有研究提出分布式训练以及异步参数更新方法。

类似的分布式异构框架也在之后的研究中被广泛使用。这种框架使多GPU设备之间可以高效合作，并且便于结合其他加速策略进一步减少计算消耗。

随着技术的进步，我们可能会看到更多创新的互联架构出现。这些架构不仅要解决当前的技术挑战，还要为未来的AI应用提供更强大的计算支撑。从训练千亿参数的大模型，到实现实时的多模态交互，再到支持大规模的AI应用部署，多GPU服务器互联架构都将是这个智能化时代的坚实底座。