在AI Agent任务中，GPU常因等待历史数据而闲置。DeepSeek一篇新论文提出DualPath方案，通过巧妙的数据路径重构与网络带宽隔离，解决了Prefill-Decode架构下的存储瓶颈问题，显著提升了推理效率，为优化AI系统架构提供了新思路。
智能速览
AI Agent场景下，GPU因等待加载KV-Cache而浪费大量时间。
现有Prefill-Decode架构导致Prefill侧存储网卡成为瓶颈。
DualPath方案利用闲置的Decode侧网卡加载数据。
通过InfiniBand网络虚拟通道，隔离推理与数据搬运流量。
该方案实现了最高1.87倍离线推理吞吐提升。
精华内容
面对GPU在AI Agent推理中“等待”的尴尬，DeepSeek的DualPath方案提供了一种出人意料且高效的思路，它在现有硬件限制下进行了精妙的资源调度。
推理瓶颈
AI Agent任务中，每一轮对话超过95%的内容都是历史数据的复用（KV-Cache）。在主流的Prefill-Decode分离架构下，所有这些历史数据都必须从存储加载到Prefill引擎，导致Prefill侧的存储网卡带宽被占满，GPU处于空闲等待状态，计算资源被严重浪费。
另辟蹊径
DualPath的核心思路非常直接，既然Prefill侧网络拥堵，而Decode侧的存储网卡在Prefill阶段处于空闲状态，为何不让它也参与工作？方案让数据从Decode侧加载，再通过GPU之间高达3.2T带宽的InfiniBand高速计算网络，传输回Prefill机器。这虽是一种不符合架构直觉的“脏优化”，却是在资源限制下的无奈之举。
带宽隔离
挑战在于，InfiniBand网络本身就承载着对延迟极为敏感的模型推理通信。用其搬运KV-Cache可能会干扰正常推理。DualPath的解决方案是利用InfiniBand的虚拟通道技术做流量隔离。模型推理通信被分配到高优先级通道，独占99%的带宽以确保性能；而KV-Cache搬运任务则使用剩余的低优先级通道，只在网络空闲时进行。
显著提升
这一系列精巧的调度设计带来了可观的性能回报。实验数据显示，采用DualPath方案后，离线推理场景下的吞吐最高提升了1.87倍。对于需要实时响应的在线服务，吞吐也平均实现了1.96倍的增长，证明了该方案在解决实际瓶颈上的有效性。
DualPath方案展示了在硬件限制下的极致优化智慧，虽是无奈之举，却效果显著。它也引发思考：当资源受限时，软件层面的精巧设计能爆发出多大潜力？或许，未来的突破不仅需要算法创新，也需要这类“脏活累活”的铺垫。
