英伟达计划到2026年用光通信连接AI GPU

英伟达的路线图很可能会紧密跟随台积电的COUPE（紧凑通用光子引擎）路线图，该路线图分为三个阶段：第一代是用于OSFP连接器的光引擎，提供1.6Tb/s的数据传输，同时降低功耗；第二代转向采用共封装光学器件的CoWoS封装，实现在主板级别达到6.4Tb/s的传输速率；第三代目标是在处理器封装内实现12.8Tb/s的传输速率，并进一步削减功耗和延迟。

在大规模AI集群中，数千个GPU必须作为一个系统协同工作，这带来了这些处理器如何互连的挑战：与其让每个机架都有自己的1级（机架顶部）交换机，并通过短铜缆连接，不如将交换机移到机架的末端，以在多个机架之间创建一个一致的、低延迟的网络结构。这种重新定位极大地延长了服务器与其第一个交换机之间的距离，这使得在像800Gb/s这样的速度下，铜缆变得不切实际，因此几乎每个服务器到交换机以及交换机到交换机的连接都需要使用光连接。

在这种环境下使用可插拔光模块会带来明显的限制：在这样的设计中，数据信号会离开ASIC，穿过电路板和连接器，然后才被转换为光信号。这种方法会产生严重的电气损耗，大约在200Gb/s通道上损耗高达22分贝，这需要通过复杂的处理进行补偿，并将每个端口的功耗增加到30瓦（这反过来又需要额外的冷却，并可能成为潜在的故障点），随着AI部署规模的扩大，这几乎变得难以承受，英伟达表示。

CPO通过将光转换引擎与交换机ASIC并排放置，绕开了传统可插拔光模块的惩罚，因此信号几乎立即与光纤耦合，而不是经过长的电气迹线。结果，电气损耗降低到4分贝，每个端口的功耗降低到9瓦。这样的布局移除了许多可能失败的组件，并极大地简化了光互连的实现。

英伟达声称，通过摒弃传统的可插拔收发器，并将光引擎直接集成到交换机芯片中（得益于台积电的COUPE平台），它在效率、可靠性和可扩展性方面实现了巨大的提升。根据英伟达的说法，与可插拔模块相比，CPO的改进是显著的：功耗效率提高了3.5倍，信号完整性提高了64倍，由于活动设备更少，弹性提高了10倍，部署速度大约快30%，因为服务和组装更简单。

英伟达将为以太网和InfiniBand技术引入基于CPO的光互连平台。首先，该公司计划在2026年初推出Quantum-X InfiniBand交换机。每个交换机将提供115Tb/s的吞吐量，支持144个端口，每个端口运行在800Gb/s。该系统还集成了一个具有14.4TFLOPS网络处理能力的ASIC，并支持英伟达的第四代可扩展层次聚合和简化协议（SHARP），以减少集体操作的延迟。这些交换机将采用液体冷却。

与此同时，英伟达计划在2026年下半年通过其Spectrum-X光子平台将CPO引入以太网。这将依赖于Spectrum-6 ASIC，它将支持两个设备：SN6810提供102.4Tb/s的带宽，128个端口，每个端口运行在800Gb/s；更大的SN6800可扩展到409.6Tb/s和512个端口，速率相同。两者也都采用液体冷却。

英伟达设想，其基于CPO的交换机将为生成式AI应用中不断变大和复杂的新型AI集群提供动力。由于使用了CPO，这些集群将消除数千个离散组件，提供更快的安装、更简单的维护和每个连接更低的功耗。因此，在启动时间、首次数据传输时间和长期可靠性等指标方面，使用Quantum-X InfiniBand和Spectrum-X光子技术的集群提供了改进。

英伟达强调，共封装光学器件不是可选的增强功能，而是未来AI数据中心的结构性要求，这意味着该公司将把其光互连技术定位为与AMD等竞争对手的机架级AI解决方案相比的一些关键优势。当然，这也是AMD收购Enosemi的原因。