随着大语言模型规模增长，其推理过程中的网络通信瓶颈日益凸显。一项基于DOCA GPUNetIO技术的实践，通过DPU卸载网络负载，为MoE模型推理加速提供了新思路，有效提升了异构计算资源的整体利用率。
智能速览
SeekExpert团队在黑客松中提出MoE推理加速方案。
方案核心是利用DOCA GPUNetIO技术优化网络瓶颈。
DPU卸载网络任务，释放CPU资源专注专家计算。
该实践为数据中心大模型推理提供了异构协同优化新思路。
精华内容
MoE模型因其稀疏激活特性，在推理时面临专家权重分发和通信的效率挑战。如何突破这一瓶颈，释放模型潜能？一项深入的技术实践给出了答案。
瓶颈之源
SeekExpert团队自研的Expert-Kit推理框架采用Expert-Centric架构，专注于快速调度专家模型。然而在实际应用中，网络性能成为制约其效率的关键。
具体问题在于，专家权重的分发与推理中间结果的传输过程存在大量数据拷贝开销，直接导致推理延迟增加。同时，网络数据处理占用了大量CPU资源，与专家计算任务产生资源竞争，严重影响了系统整体的吞吐能力。
异构破局
针对这一痛点，团队引入BlueField DPU作为解决方案，并采用DOCA GPUNetIO技术进行深度开发。
DPU的核心价值在于能够专门处理网络传输任务，从而将CPU从繁重的网络I/O工作中解放出来。通过让DPU负责专家权重分发等密集型通信，CPU可以更加专注于执行核心的专家计算，实现了硬件资源的异构协同，显著提升了MoE模型推理的效率和速度。
攻坚之路
实现这一方案并非一帆风顺。团队首先面临技术选型的挑战，需要在GPUNetIO、DMA、RDMA等多种网络加速方案中做出最适合的选择。其次，DOCA与CUDA的深度集成涉及GPU内存管理和数据流同步等底层细节，调试过程极为复杂。
为克服困难，团队一方面深入研究DOCA官方文档与示例代码，另一方面通过团队内部多视角的技术讨论，协同分析并解决了开发中遇到的难题。
这项实践不仅为MoE模型推理加速提供了有效的解决方案，更重要的是，它验证了DPU在异构计算时代作为数据中心“协处理器”的关键价值。随着AI模型对算力需求的持续增长，如何让CPU、GPU、DPU高效协同，将成为提升资源利用率的未来方向。
