大模型在向智能体演进时，普遍遭遇存储I/O瓶颈，导致算力浪费。DeepSeek联合北京大学、清华大学提出的DualPath系统，通过创新的双路径加载机制，有效聚合了集群带宽资源。这一突破将推理吞吐量提升近一倍，为大规模智能体应用的普及扫清了关键的性能障碍，展现出重要的工程价值。
智能速览
智能体应用普遍面临存储I/O瓶颈，算力等待数据成为常态。
DualPath系统首创双路径加载，聚合所有节点带宽资源。
通过流量隔离与动态调度技术，确保系统高效稳定运行。
离线推理吞吐最高提升1.87倍，在线服务性能提升超2倍。
系统在1152张GPU集群中验证了优秀的扩展性。
精华内容
当大模型变为智能体，算力过剩与I/O饥渴的矛盾凸显。DualPath系统如何从架构层面重塑数据流，盘活闲置资源？其核心设计值得深入探讨。
I/O失衡的困境
当大模型进化为多轮交互的智能体时，计算瓶颈从GPU算力转向了存储I/O带宽。在每次只追加少量Token的场景下，用于存储对话历史的KV-Cache命中率超过95%，导致GPU大量时间浪费在等待从外部存储读取海量历史数据上。
传统架构中，所有KV-Cache数据都由单一的预填充节点从存储加载，这导致该节点的存储网卡带宽迅速饱和，成为系统瓶颈。与此同时，众多负责解码生成词元的节点，其存储带宽却完全闲置，形成了“一个累死，一个闲死”的资源浪费局面。
双路径巧破局
针对这一根本性失衡，DualPath系统创新性地提出了“双路径”加载机制。它打破了传统的“存储->预填充”单一路径，新增了“存储->解码->预填充”的数据通路。
通过动态调度两条路径的数据流量，DualPath将原本仅由预填充节点承担的I/O压力，分摊给了集群中所有解码节点。这相当于将所有节点的存储带宽资源进行池化，共同应对数据读取需求，从根本上提升了整体带宽的上限。
流量隔离术
新增的数据路径虽然能提升吞吐，但也可能与模型推理的关键通信产生冲突。为解决此问题，DualPath利用InfiniBand网络的虚拟通道机制，实施了一套严格的流量隔离策略。
系统将模型推理的核心通信分配到高优先级通道，确保其占用99%的带宽，一路畅通无阻。而KV-Cache的数据传输则被置于低优先级通道，只能在计算网络空闲的间隙进行，从而避免了相互干扰，保证了推理延迟的稳定。
智能动态调度
为确保双路径的高效协同，DualPath引入了一个自适应请求调度器。该调度器会实时监控各节点的磁盘读取队列长度和GPU计算负载，将节点动态划分为过载、低队列和高队列三类。
调度器会优先将新任务分配给队列短且未过载的节点。在节点内部，它还会采用时间预估机制，将执行时间相近的请求打包处理，最大限度地减少了GPU等待同步时产生的“计算气泡”，实现了资源利用率的最大化。
实测性能飞跃
DualPath系统在大规模集群中展现了卓越的性能。在包含1152张GPU的集群上进行的测试表明，系统支持DeepSeek-V3.2 660B等超大模型。
在离线批量推理场景下，系统吞吐量最高提升了1.87倍。在延迟要求极为苛刻的在线服务场景中，系统在保证首次延迟小于4秒的SLA下，请求处理能力最高提升了2.25倍。这标志着DualPath为智能体时代的大模型推理奠定了坚实的基础。
DualPath系统不只是一项性能优化，它从根本上解决了智能体时代大模型推理的底层架构难题。通过盘活闲置资源，它为未来的复杂、长交互智能体应用铺设了高速公路。这项研究能否引发新一轮推理架构的创新浪潮？
