清华&智谱:DeepSeek稀疏注意力提速1.8倍!
DeepSeek 稀疏注意力(DSA)作为一种代表性生产级解决方案,已被证明能够在不牺牲模型质量的前提下,有效降低大语言模型(LLM)的注意力计算开销。然而,随着长上下文需求的增加,DSA 引入的轻量级闪电索引器因保持 O(L²) 的复杂度且必须在每一层独立运行,导致其整体计算开销随上下文长度增长而快速攀升。降低索引器开销成为加速推理的关键瓶颈。
01解决方案:IndexCache 跨层索引复用
清华大学与智谱(Z.ai)团队联合提出了 IndexCache 方法,旨在通过少量代码大幅减少冗余计算。该方法基于一个关键发现:模型在相邻层选择重要 token 时具有高度的相似性。通过利用这一特性,IndexCache 实现了跨层复用索引,从而在保持模型质量的同时,去除了 75% 的索引器计算。
02实测数据:200K 上下文性能提升
| 性能指标 | 提升效果 | 场景条件 |
|---|---|---|
| 预填充 (Prefill) | 提速 1.82 倍 | 200K 上下文 |
| 解码 (Decoding) | 提速 1.48 倍 | 200K 上下文 |
| 索引器去除率 | 减少 75% | 无损模型性能 |
IndexCache 在 200K 上下文场景下的实测性能数据
03验证与结论
研究团队在 744 亿参数的 GLM-5 模型上进行了初步验证,结果显示该方法在更大规模模型中同样保持稳定,进一步证实了 IndexCache 的可扩展性与实际应用价值。这表明,通过跨层复用索引机制优化 DSA,是实现大模型高效长上下文推理的有效途径。
当前文章无评论,是时候发表评论了