很多人认为高性能网络就是追求更低的延迟和更高的带宽，但这远远不够。真正决定网络性能的，是背后支撑数据高效传输的关键技术与架构。本文将深入剖析构成高性能网络的核心要素，揭示RDMA技术的奥秘，并对比InfiniBand与RoCE两种主流方案的优劣，为构建真正高效、可靠的网络环境提供清晰的决策参考。
智能速览
约95%的网络延迟发生在服务器内部，而非交换设备。
RDMA技术可绕过操作系统内核，将端到端延迟降低90%以上。
高性能网络的价值在于数据传输的绝对可靠性，而非网络本身。
InfiniBand专精于特定高性能场景，而RoCEv2基于以太网更灵活。
研究表明在2000 GPU规模以下，RoCEv2与InfiniBand性能相近。
未来基于以太网的解决方案将满足绝大多数高性能网络需求。
精华内容
理解高性能网络，必须超越对带宽和延迟的表面认知。真正的瓶颈在于服务器内部的数据处理，而解锁速度的关键，则是一种能绕过传统协议栈的革命性技术。
延迟的真相
在高性能网络中，人们常常将目光聚焦于交换设备，但数据显示，从内核到内核约50微秒的总延迟中，高达95%的部分发生在服务器内部。当数据包离开CPU的寄存器后，它需要依次穿过L1、L2、L3缓存，再到速度较慢的主内存，最后通过PCI总线才抵达网卡。这个复杂的内部流程才是延迟的主要来源，而交换机ASIC本身仅贡献100-300纳秒的延迟。
RDMA的威力
远程直接内存访问（RDMA）是解锁极致性能的关键。它通过在网卡上实现I/O绕过技术，允许数据直接从一台设备的主内存传输到另一台，完全绕过操作系统内核的套接字和协议缓冲区。这种零拷贝机制能将端到端延迟降低90%至96%。然而，RDMA对网络质量的要求极为苛刻，必须保证数据可靠、有序地传输，任何丢包或抖动都是不可接受的。
两条技术路径
为支撑RDMA，业界主要有两种技术方案。InfiniBand是一种专为此类负载设计的通信标准，采用基于子网管理器的控制架构，网络为非可路由设计，故障域与整个网络结构相同。RoCEv2（RDMA over Converged Ethernet v2）则利用现有以太网基础设施，通过在交换机配置优先流量控制（PFC）和显式拥塞通知（ECN）来保障RDMA流量的传输质量，具有更好的兼容性和灵活性。
如何选择
选择技术路径需考量灵活性与可扩展性。InfiniBand专为AI等特定高负载打造，灵活性较低，而RoCEv2基于以太网，更适用于混合云或多应用生态的数据中心。在可扩展性方面，InfiniBand缺乏Layer 3路由选项，大规模网络管理较为复杂。Meta的研究指出，在2000个GPU（约63个机柜）的规模下，RoCEv2与InfiniBand的性能表现非常接近。因此，业界共识是将InfiniBand用于最具挑战性的顶级应用，而其余95%的用例可由更灵活的以太网方案满足。
高性能网络的建设并非简单的硬件堆砌，而是对技术、成本与未来需求的综合权衡。从InfiniBand到RoCEv2，我们看到的是专用与通用架构的持续博弈。随着以太网技术的不断演进，它能否在未来彻底取代专有方案，成为所有高性能计算场景的最终答案？这个问题值得每一位网络架构师深思。
