万卡GPU集群：不只是10亿元这么简单

最近科技圈里“万卡GPU集群”这个词特别火，不少大厂都在布局自己的算力基础设施。你可能也在想，这不就是一万张显卡嘛，能有多贵？但当你深入了解后会发现，这里面的门道远比表面看到的要复杂得多。

万卡集群到底算不算多？

在普通人的概念里，一万张GPU听起来是个天文数字。但放在AI大模型训练的赛道上，这个规模还真算不上顶尖配置。就拿商汤科技来说，他们的智算网络中心目前拥有4.5万块GPU；小鹏汽车的“扶摇”自动驾驶智算中心，算力约等于3万张英伟达A100 GPU。这样一对比，小米正在搭建的万卡集群，在行业内其实只是个入门级的竞争配置。

为什么需要这么多卡？简单来说，现在的AI大模型参数规模动辄千亿甚至万亿，训练这些模型需要巨大的并行计算能力。单张GPU的内存和算力都有限，必须通过大量GPU协同工作才能完成训练任务。这就像搬一座大山，一个人搬不动，就需要成千上万人一起搬。

硬件采购：10亿元只是冰山一角

说到万卡集群要花多少钱，很多人第一反应就是算显卡价格。确实，如果按照目前国内市场还能流通的A100 GPU来计算，每张价格大概在9万元左右；而英伟达销售的H100阉割版HGX H20，渠道价格是11万一张。取个中间值，按每张10万元计算，一万张GPU的采购成本就是10亿元。

但这个数字有很大的迷惑性。GPU市场价格波动很大，受国际贸易政策和供需关系影响明显。不同型号的GPU性能差异巨大，价格自然也天差地别。更重要的是，这10亿元仅仅是个开始。

隐藏成本：那些看不见的巨额投入

组建GPU集群远不只是买显卡那么简单。你还需要考虑：

• 服务器成本：每张GPU都需要相应的服务器承载
• 网络设备：高速InfiniBand交换机、网卡等
• 电力系统：这些GPU都是耗电大户，需要专门的供电和冷却系统
• 机房建设：包括场地租赁、装修、机柜等
• 运维团队：需要专业的技术人员7×24小时维护

这些隐藏成本加起来，很可能比GPU本身的采购成本还要高。而且这些都是持续性的投入，不是一次性付清就完事了。

技术选型的艺术：性能与成本的平衡

Deepseek在构建他们的万卡集群时，就面临过一个关键选择：是采用高端的DGX-A100服务器，还是相对便宜的PCIe A100方案。DGX-A100性能更强，但成本和能耗都是PCIe A100的1.67倍；而PCIe A100虽然性能只有DGX-A100的83%，但节省了40%的网络成本。

最终Deepseek选择了性价比更高的PCIe A100方案。这个决策体现了在实际建设中，企业需要在性能和成本之间找到最佳平衡点。不是最贵的就是最好的，而是最适合的才是最好的。

网络架构：决定效率的关键因素

你可能想不到，在万卡集群中，网络架构的设计几乎和GPU选型同等重要。Deepseek采用了经典的“胖树”（Fat-Tree）拓扑结构，这种架构可以提供1:1的高带宽收敛比，特别适合AI训练这种需要大量数据交换的场景。

为什么网络这么重要？想象一下，一万张GPU就像一万个工人，如果他们之间的沟通渠道不畅，工作效率就会大打折扣。在网络设备上，Deepseek选择了英伟达的QM8700 InfiniBand交换机和CX6网卡，这些都是为了确保数据能够在GPU之间快速流动。

实际案例：看看别人是怎么做的

从公开信息来看，不同企业在构建GPU集群时采取了不同的策略：

“商汤科技拥有4.5万块GPU，小鹏汽车相当于3万张A100，而小米正在搭建万卡集群”

Deepseek的选择告诉我们，在有限的预算下，可以通过技术选型的优化来实现性价比的最大化。他们使用的PCIe A100服务器，单台提供8个A100 GPU，对外只提供1个CX6网卡，这种设计虽然在单点性能上有所牺牲，但大幅降低了总体拥有成本。

未来趋势：万卡集群将成标配

随着AI模型规模的不断扩大，万卡集群很可能从现在的“豪华配置”变成未来的“基础配置”。更多的企业将需要建设自己的算力基础设施，而不是完全依赖云服务。

但这也带来了新的挑战：如何降低运营成本？如何提高能源效率？如何确保系统的稳定性？这些问题都需要行业共同探索解决方案。

从10亿元的硬件采购到可能翻倍的总投入，从GPU选型到网络架构设计，构建万卡GPU集群是一个极其复杂的系统工程。它不仅仅是资金的比拼，更是技术实力和战略眼光的较量。对于那些想要在AI时代保持竞争力的企业来说，这笔投入虽然巨大，但很可能是不得不付出的门票。