NVIDIA Rubin Ultra将AI数据中心互联带宽推向1.5 PB/s的新高，其背后的Kyber架构是工程学的巅峰之作。本文深入剖析了这一PB级全互联机柜的实现细节，揭示了双层网络拓扑、正交背板与光互连等关键技术如何协同工作，为理解未来AI基础设施提供了清晰的技术蓝图。
智能速览
Rubin Ultra机柜总带宽达到1.5 PB/s，较上一代增长12倍。
采用电光混合双层组网架构，以平衡极致性能与工程成本。
第一层通过正交背板和54颗NVSwitch实现Canister内36颗GPU无阻塞交换。
第二层利用光引擎以3:1收敛比设计，完成4个Canister间的高速互联。
单个机柜总计配置288颗第七代NVSwitch芯片与648颗3.2T光引擎。
精华内容
要实现1.5 PB/s的机柜级互联带宽，NVIDIA Kyber架构在工程上面临巨大挑战。其解决方案是采用一种精密的双层网络拓扑结构，将复杂的互联问题分解为两个层级进行优化。
带宽的跨越式升级
NVIDIA Rubin Ultra作为下一代AI数据中心GPU旗舰，其机柜总带宽达到惊人的1.5 PB/s（1555.2 TB/s），是上一代GB200的12倍。这一性能由144颗GPU共同提供，每颗GPU集成4个计算die，对应单芯片双向互联带宽高达10.8 TB/s。如此高密度的算力与带宽配置，对Scale-up网络架构提出了前所未有的挑战，促使工程方案向双层网络拓扑演进。
Canister内电交换
第一层网络负责Canister内部的高速互联，采用正交背板PCB架构。计算板与交换板垂直插接，最大限度缩短信号走线，降低损耗与延迟，为224G PAM4信号传输提供保障。单个Canister包含36颗Rubin Ultra GPU，总单向带宽需求为194.4 TB/s。
为满足这一需求，第一层需配置54颗第七代NVSwitch芯片（单颗交换容量3.6 TB/s），通过M9级超低损耗材料的正交背板与36颗GPU实现端口映射，构建Canister内部的全互联拓扑。
Canister间光互联
第二层网络用于实现4个Canister之间的跨节点互联，由于距离超出铜互连范围，必须采用光互连技术。工程上采用了3:1的收敛比设计，以平衡性能与成本。机柜总单向带宽为777.6 TB/s，按3:1收敛后，第二层网络需提供259.2 TB/s的交换容量。
这需要72颗第七代NVSwitch芯片，总交换带宽为259.2 TB/s（2073.6 Tbps）。互联介质采用3.2 Tbps速率的NPO（Near-Package Optics）光引擎，总计需配置648颗，实现GPU与光引擎1:4.5的比例。
架构的工程权衡
整个Rubin Ultra机柜的Kyber架构是工程权衡的典范。它通过分层设计，将内部高速电交换与跨节点光互联有机结合。第一层网络共需4块正交背板和216颗NVSwitch芯片，第二层网络需要72颗NVSwitch芯片和648颗光引擎。
3:1的收敛比设计，在保证任意GPU间可达性的前提下，有效控制了光引擎数量与系统总成本。这种电光混合、分层收敛的方案，代表了当前AI数据中心Scale-up网络架构的最高工程水平，为未来更大规模的AI集群奠定了基础。
NVIDIA Rubin Ultra的Kyber架构通过精密的分层设计，成功将AI基础设施带入PB级全互联时代。这种电光混合的工程方案不仅解决了当下的性能瓶颈，也为未来更大规模的AI计算集群奠定了技术基础，其背后的设计哲学值得业界深思。
