什么值得买App下载 App ›
连续签到专享现金活动

花几亿买GPU却被这张网卡脖子:AI算力军备竞赛最隐蔽的胜负手

花几千万美元买了上万台GPU,训练效率却只有理论峰值的30%到50%——这不是段子,是多个AI实验室的真实遭遇。GPU们花了近一半时间在等待数据送达,而非执行计算。当业界把注意力全放在芯片算力上时,一个更隐蔽的瓶颈正在吞噬巨额投资:GPU之间的通信网络。1
大模型训练的本质是让数万台GPU像一台超级计算机一样协同工作。每轮迭代后,所有GPU必须通过AllReduce等集合通信操作同步梯度数据——一块GPU慢了半拍,其余所有GPU都得停下来等。这种"锁步"特性决定了:最短的通信木板,决定了整个训练系统的水位。2
千卡规模下,通信耗时约占总训练时间的20%-30%;到了万卡级别,这个比例直接攀升至40%-50%。规模越大,通信墙越高。超60%的非计划训练中断与网络故障直接相关,一次网络抖动就可能让数百万美元的GPU集群空转数小时。3
先说说传统网络的三堵高墙
以电交换为核心的AI数据中心网络,存在三个致命缺陷。第一堵是带宽墙与功耗墙。2007年万兆光模块功耗不到1W,1.6T时代单模块功耗已逼近30W——二十年涨了30倍,却还没解决信号衰减问题。第二堵是阻塞墙。传统网络基于"尽力而为"的TCP/IP协议,当网络丢包率达1%时,GPU集群利用率直接腰斩50%。第三堵是拓扑僵化墙。固定的网络架构无法匹配AI训练动态多变的通信需求,造成算力闲置与资源低效。1
传统以太网像一条没有红绿灯的高速公路——车流只能靠"堵了再绕"应对。RoCE虽然引入了RDMA绕过CPU,但它依赖PFC机制防止丢包,而PFC一旦触发会引发级联暂停效应,造成更大范围的拥堵。业界把这叫做"PFC风暴"——堵到一定程度就封路,反而让整张网络瘫痪。2
这三条路到底怎么选
摆在AI集群建设者面前的有三条路:InfiniBand、以太网RoCE,以及新近冒出来的开放标准。InfiniBand是封闭生态,性能最稳但价格是以太网的2-3倍,供应商锁定意味着议价空间极为有限。以太网RoCE便宜开放,但PFC配置复杂、调优成本高,没有专业网络团队根本玩不转。4
选InfiniBand的理由很直接:原生RDMA无损网络,端到端时延低于1微秒,从硬件到协议栈专为高性能计算设计,不需要复杂的拥塞控制配置。选RoCE的理由同样实在:复用现有以太网基础设施,厂商选择多,成本低,适合技术储备深厚、愿意投入人力做调优的团队。4
  • 追求极致性能
    选InfiniBand,适合预算充足、追求稳定可预测的训练效率
    1
  • 成本敏感复用存量
    选RoCE v2,但必须有数据中心网络专家团队做支撑
    4
  • 大规模混合部署
    头部云厂商已在用IB+以太网混合架构,兼顾训练与推理场景
    4
2026年出现了一个变量:OpenAI联合AMD、博通、英特尔、微软、英伟达五大巨头推出的MRC(多路径可靠连接)协议。MRC把单次传输的数据包分散到数百条路径并行传输,类似"一批货同时上几百辆车分头跑",彻底改变了传统RDMA必须走同一路径的局限。故障切换时间从原来的数秒压缩到微秒级——提升超过10万倍。1
光模块从800G向1.6T升级,背后是物理定律的倒逼。铜缆在1.8Tb/s带宽下有效传输距离不到1米,单台NVL72机柜的铜缆超过5000根、总重1.36吨。信号完整性、延迟、散热都无法支撑更大规模集群——铜退光进不是口号,是工程必然。5
芯片之间怎么说话
英伟达的解法是NVLink+NVSwitch——把服务器内8块GPU用高速总线连成一体,总带宽可达1TB/s级别。但机柜之间互联只能靠InfiniBand或以太网。这就像城市内道路修得再宽,城际高速堵住了,整个物流体系照样瘫痪。6
国产方案也在突围。2026年3月,中科曙光发布的scaleFabric全栈自研400G无损网络,端到端时延小于1微秒,单子网可支持11.4万个节点。这是中国在高端RDMA领域迈入全栈自研时代的标志性事件。华为的灵衢架构则走得更远——用UB协议实现"内存语义"传输,把跨节点通信时延压缩到百纳秒级,让跨服务器通信如同访问本地内存。17
CPO(共封装光学)被视为下一代AI互联的核心方向。把光引擎直接封装在GPU旁边,用光纤替代铜线,带宽密度更高、每比特功耗更低。博通、Marvell、Intel都在押注这条路线,但标准尚未统一,量产良率还在爬坡。89
下一个主战场在这里
多方投行的研究指向同一个结论:AI算力产业链的瓶颈正在沿着"计算→存储→光互连→电力/液冷"的路径转移。网络在AI机柜总CAPEX中的占比已从15%升至25%,在ASIC集群中甚至达到37%,与算力芯片平起平坐。105
2030年全球AIDC网络硬件市场规模预计达2000亿美元,网络芯片约1000亿美元。2025-2030年复合增速约30%,跑赢算力芯片20%-25%的增速。光模块公司中际旭创2025年营收同比增长60%,新易盛增长187%,天孚通信增长58%——这些数字说明AI光互联已经从概念兑现到收入里。1011
  • 看真实出货而非路线图
    800G/1.6T光模块谁在真实交付、客户是谁、产能几何
    11
  • 看毛利率与现金流
    硬件链最怕需求被提前外推,库存跑在真实出货前面
    11
  • 看客户集中度
    光模块公司若过度依赖单一云厂商,议价能力会被削弱
    11
万卡集群下一步怎么走
回到最初的问题:花了大价钱建的万卡集群,为什么效率上不去?答案不在芯片里,在芯片之间。当行业从"谁有更多GPU"转向"谁能把更多芯片高效连成一个系统",网络就不再是配套,而是算力本身的一部分。11
选网络方案不能只看技术指标,要看训练场景的真实需求。万卡以上规模的前沿模型训练,追求极致稳定与可预测性能,InfiniBand或类似MRC的开放协议是更稳妥的选择;千卡级别的推理与训练混合场景,RoCE v2的性价比优势更明显。没有最好的方案,只有最适配的架构。4
AI集群的下一阶段竞争,正在从"芯片有多强"转向"芯片之间怎么说话"。那些能解决好通信瓶颈的团队,才能把昂贵的GPU真正变成生产力。这个赛道刚开场,机会窗口还在。12

评论

评论区空态插画

当前文章无评论,是时候发表评论了