大模型通信基础 2.4 机间数据搬运
在大模型分布式训练中,机间通信的带宽、延迟与可靠性挑战远高于机内通信。DeepEP 架构通过 GPUDirect RDMA 技术统一数据面,实现了 GPU 显存到网卡(NIC)再到远端的直接数据传输。然而,不同的技术实现路径在性能上存在显著差异,主要取决于控制路径的优化策略以及网络拓扑结构的选择。理解这些底层机制对于构建高性能 AI 集群至关重要。
01控制路径对比:IBRC 与 IBGDA
RDMA 控制路径方案对比
SM 直控模式 (IBGDA)
控制路径:SM (流多处理器) 直接构建 WQE 并通知 NIC,路径为 SM→NIC。
优势:砍掉了两趟 PCIe 往返和 CPU 调度开销,降低延迟。
适用场景:小包场景(延迟敏感)、多 QP 并发打满 NIC 带宽。
实现:DeepEP LL 模式及较新的 Normal 模式采用此方案。


CPU 中转模式 (IBRC)
控制路径:CPU 描述任务,NIC 执行任务,路径为 SM→PCIe→CPU→PCIe→NIC。
优势:大包场景下稳定性更好,CPU 构建 WQE 的吞吐完全够用。
适用场景:大包吞吐场景,此时延迟优势被带宽瓶颈淹没。
实现:早期 DeepEP Normal 模式多采用此方案。
在通信优化中,避开常见的编程陷阱对于保持性能同样关键。特别是在使用 Put Data + Put Signal 模式实现单边通信时,如果在两者之间插入 blocking wait(等待对端显式 ACK 或资源就绪信号),通信模式将退化为双边,导致往返延迟(RTT)翻倍。在 MoE 推理 decode 场景中,这种额外的 5-10μs 延迟可能占通信总时间的 30%-50%,直接拉高 TPOT。正确的做法应利用 RDMA 协议层的保序机制(如同 QP 传输、Write with Immediate Data 或 fence 指令)来保证 data 先于 flag 到达,从而保持真正的单边语义。
02拓扑策略:两跳聚合与一跳直达
| 特性维度 | 两跳聚合 (DeepEP Normal) | 一跳直达 (DeepEP LL) |
|---|---|---|
| 核心逻辑 | 先通过 NVLink 在机内汇聚到 Gateway GPU,再由 NIC 发大包 | 每张 GPU 各自通过 NIC 直接发小包给远端 |
| 设计哲学 | 用便宜的 NVLink 做预处理,省下昂贵的 NIC 资源 | 宁可降低 NIC 利用率,也要追求最低延迟 |
| 网络特征 | 大幅减少 Incast 概率,提升单 GPU NIC 利用率至 50GB/s 量级 | 小包并发,易导致交换机 Incast 拥塞 |
| 适用场景 | 训练场景、大流量传输,可利用计算重叠掩盖通信时长 | 推理 Decode 阶段,对 per-token 延迟极度敏感 |
两种拓扑策略的核心差异与适用场景
为了最大化硬件带宽利用率,DeepEP 在内核层面采用了精细化的 Warp 级角色分配策略。由于 NVLink(走 NVSwitch)和 RDMA(走 NIC + PCIe)是两条物理上独立的 DMA 路径,DeepEP 在单个 Kernel 内部让不同的 Warp 同时驱动这两种硬件。具体而言,偶数 SM 负责 RDMA→NVLink 的转发,奇数 SM 负责 NVLink→本地的接收。这种并行机制避免了串行执行带来的 Kernel launch 和同步开销,使得 Wall-clock 时间接近两种通道最大值的 Max,而非两者之和。
- 角色分配:Kernel 启动后,Warp 不再统一执行同一任务,而是根据 SM 奇偶性分工。
- 并发机制:同时利用 NVLink 接收、RDMA 发送/接收及 NVLink 转发,消除硬件闲置。
- 参数调优:SM 数量(set_num_sms)为可调参数,需在通信吞吐与计算资源间取得平衡。
当前文章无评论,是时候发表评论了