什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

大模型通信基础 2.4 机间数据搬运

在大模型分布式训练中,机间通信的带宽、延迟与可靠性挑战远高于机内通信。DeepEP 架构通过 GPUDirect RDMA 技术统一数据面,实现了 GPU 显存到网卡(NIC)再到远端的直接数据传输。然而,不同的技术实现路径在性能上存在显著差异,主要取决于控制路径的优化策略以及网络拓扑结构的选择。理解这些底层机制对于构建高性能 AI 集群至关重要。
01控制路径对比:IBRC 与 IBGDA

RDMA 控制路径方案对比

SM 直控模式 (IBGDA)
  • 控制路径:SM (流多处理器) 直接构建 WQE 并通知 NIC,路径为 SM→NIC。

  • 优势:砍掉了两趟 PCIe 往返和 CPU 调度开销,降低延迟。

  • 适用场景:小包场景(延迟敏感)、多 QP 并发打满 NIC 带宽。

  • 实现:DeepEP LL 模式及较新的 Normal 模式采用此方案。

CPU 中转模式 (IBRC)
  • 控制路径:CPU 描述任务,NIC 执行任务,路径为 SM→PCIe→CPU→PCIe→NIC。

  • 优势:大包场景下稳定性更好,CPU 构建 WQE 的吞吐完全够用。

  • 适用场景:大包吞吐场景,此时延迟优势被带宽瓶颈淹没。

  • 实现:早期 DeepEP Normal 模式多采用此方案。

在通信优化中,避开常见的编程陷阱对于保持性能同样关键。特别是在使用 Put Data + Put Signal 模式实现单边通信时,如果在两者之间插入 blocking wait(等待对端显式 ACK 或资源就绪信号),通信模式将退化为双边,导致往返延迟(RTT)翻倍。在 MoE 推理 decode 场景中,这种额外的 5-10μs 延迟可能占通信总时间的 30%-50%,直接拉高 TPOT。正确的做法应利用 RDMA 协议层的保序机制(如同 QP 传输、Write with Immediate Data 或 fence 指令)来保证 data 先于 flag 到达,从而保持真正的单边语义。
02拓扑策略:两跳聚合与一跳直达
特性维度两跳聚合 (DeepEP Normal)一跳直达 (DeepEP LL)
核心逻辑先通过 NVLink 在机内汇聚到 Gateway GPU,再由 NIC 发大包每张 GPU 各自通过 NIC 直接发小包给远端
设计哲学用便宜的 NVLink 做预处理,省下昂贵的 NIC 资源宁可降低 NIC 利用率,也要追求最低延迟
网络特征大幅减少 Incast 概率,提升单 GPU NIC 利用率至 50GB/s 量级小包并发,易导致交换机 Incast 拥塞
适用场景训练场景、大流量传输,可利用计算重叠掩盖通信时长推理 Decode 阶段,对 per-token 延迟极度敏感

两种拓扑策略的核心差异与适用场景

为了最大化硬件带宽利用率,DeepEP 在内核层面采用了精细化的 Warp 级角色分配策略。由于 NVLink(走 NVSwitch)和 RDMA(走 NIC + PCIe)是两条物理上独立的 DMA 路径,DeepEP 在单个 Kernel 内部让不同的 Warp 同时驱动这两种硬件。具体而言,偶数 SM 负责 RDMA→NVLink 的转发,奇数 SM 负责 NVLink→本地的接收。这种并行机制避免了串行执行带来的 Kernel launch 和同步开销,使得 Wall-clock 时间接近两种通道最大值的 Max,而非两者之和。
  • 角色分配:Kernel 启动后,Warp 不再统一执行同一任务,而是根据 SM 奇偶性分工。
  • 并发机制:同时利用 NVLink 接收、RDMA 发送/接收及 NVLink 转发,消除硬件闲置。
  • 参数调优:SM 数量(set_num_sms)为可调参数,需在通信吞吐与计算资源间取得平衡。

评论

评论区空态插画

当前文章无评论,是时候发表评论了