当前，大模型在处理长文本智能体任务时，性能瓶颈已从算力转向数据I/O。DeepSeek与北大、清华联合提出的DualPath框架，巧妙利用了解码引擎闲置的网卡带宽，在不增加硬件成本的前提下，显著提升了系统吞吐量，为解决这一行业难题提供了新思路。
智能速览
智能体推理性能的瓶颈已从计算转向I/O
DualPath框架利用闲置的解码网卡加速KV-Cache加载
通过RDMA网络实现全局带宽池化和动态负载均衡
新框架在660B模型上实现吞吐量近翻倍
在高负载下显著降低首字延迟，保持生成速度稳定
精华内容
在传统架构中，数据加载方式正成为制约AI性能的隐形墙。DualPath框架的核心洞见在于打破常规，通过开辟第二条数据加载路径，释放被闲置的系统资源，实现效率的飞跃。
推理瓶颈的转变
在多轮对话的长文本场景下，模型需要反复加载历史对话的KV-Cache，其命中率通常高达95%以上。这使得系统性能的主要制约因素从“计算”变为了“搬运”。在预填充-解码分离的架构里，所有缓存加载任务都集中在预填充引擎的存储网卡上，导致其带宽瞬间饱和，而解码引擎的存储网卡却处于闲置状态，形成了严重的资源错配。
双路径加载方案
DualPath打破了传统的“存储到预填充”单一路径模式，创新性地加入了“存储到解码”这一新路径。该方案允许KV-Cache数据先被加载到原本闲置的解码引擎，再通过高速计算网络（RDMA）无损传输至预填充引擎。通过在两条路径间动态分配负载，系统成功将集群内所有存储网卡带宽池化，实现了全局动态负载均衡。
网络流量的精细调度
为避免新路径上的数据搬运与模型计算通信产生冲突，DualPath设计了两套优化机制。一是以计算网卡为中心的流量管理，在InfiniBand或RoCE网络中，利用虚拟层技术为推理通信分配99%的最高优先级带宽，确保缓存传输只能使用剩余带宽。二是自适应请求调度器，它会监控各节点的磁盘压力和计算负载，优先将任务分配给更空闲的节点，从根本上避免拥塞。
实测性能的飞跃
在660B参数规模的生产级模型实测中，DualPath的表现十分出色。在离线推理场景下，端到端吞吐量提升了1.87倍。在在线服务中，吞吐量平均提升1.96倍。更重要的是，该框架在高负载下大幅优化了首字延迟（TTFT），而Token间的生成速度（TPOT）几乎未受影响，保持了极高的稳定性。
DualPath框架的成功，证明了通过软件和系统架构的创新，可以有效突破硬件物理限制带来的性能瓶颈。它以极低的成本盘活了现有资源，为未来更大规模智能体应用的部署提供了极具价值的参考。这种系统级的优化思路，是否会成为下一代AI基础设施演进的关键方向？
