智能体要起飞?DeepSeek发文破GPU难题,吞吐量飙升两倍
随着大语言模型向自主智能体演进,多轮交互产生的极长上下文使得系统性能瓶颈从算力转移到了键值缓存(KV-Cache)的存储读取上。针对这一行业难题,DeepSeek联合北大、清华发布最新论文,提出DualPath双通道加载技术。该技术通过创新的全局调度算法,打通了预填充与解码节点间的传输壁垒,在不增加硬件成本的前提下,实现了推理吞吐量近两倍的飞跃。
01背景现状:存储带宽成为智能体性能天花板
- 工作负载转变
智能体应用需进行数十甚至数百轮互动,历史上下文不断累加,导致KV-Cache读取压力剧增,95%以上的高命中率使读取效率成为关键。 - 架构资源失衡
传统预填充与解码分离(PD)架构中,预填充引擎的存储网卡带宽持续饱和,成为系统吞吐量瓶颈;而解码引擎的存储带宽却大量闲置,资源利用率极低。 - 硬件发展滞后
网络带宽和显存容量的增长远落后于GPU算力的飞跃,低效的网卡带宽限制了缓存加载,导致强大的GPU算力处于空转等待状态。
02技术原理:双通道加载与全局调度
为突破单点瓶颈,DeepSeek引入了颠覆传统的双通道加载架构,开辟了从存储到解码节点的全新路径,利用计算网络的高速通道进行数据回传,并结合智能调度算法保障传输效率。
| 对比维度 | 传统架构 | DeepSeek双通道架构 |
|---|---|---|
| 数据加载路径 | 仅存储→预填充节点 | 存储→预填充节点 / 存储→解码节点 |
| 存储带宽利用 | 预填充端饱和,解码端闲置 | 全局共享,聚合所有节点带宽 |
| 网络传输策略 | 直接存储访问,流量未隔离 | 计算网卡优先,虚拟通道(VL)隔离 |
核心架构对比
- 双路径动态分配
在保留传统路径的同时,利用解码节点闲置的存储网卡读取缓存,通过计算网络将数据传回预填充节点。系统根据实时负载在两条路径间动态分配流量,消除带宽不对称问题。 - 流量隔离与优先级调度
采用以计算网卡为中心的传输方案,利用InfiniBand虚拟通道技术,为模型推理通信保留99%的高优先级带宽,缓存数据搬运则在低优先级通道运行,确保推理延迟不受影响。 - 精准的负载均衡
调度器综合考量存储网卡队列、GPU负荷及上下文特征,优先将任务分配给负载较轻且标记数较少的节点。同时,通过层执行时间预估模型动态调整批次大小,保证所有计算设备步调一致。
03性能实测:吞吐量翻倍,延迟稳控
基于真实生产环境强化学习训练轨迹的测试表明,双通道架构在离线和在线场景下均表现出显著优势,彻底释放了存储带宽的潜力。
| 测试场景 | 性能指标 | 提升效果 |
|---|---|---|
| 离线批量推理 | 任务完成时间与吞吐量 | 吞吐量提升1.87倍,任务完成时间大幅下降 |
| 在线服务 | 并发请求率与首字生成时间 | 最高并发率接近翻倍,延迟指标符合SLA要求 |
| 组件贡献度 | 任务完成时间缩短 | 按层预填充技术(-17%),双通道加载(-38%) |
性能提升数据概览
当前文章无评论,是时候发表评论了