什么值得买App下载 App ›
连续签到专享现金活动

清华&智谱:DeepSeek稀疏注意力提速1.8倍!

DeepSeek 稀疏注意力(DSA)作为一种代表性生产级解决方案,已被证明能够在不牺牲模型质量的前提下,有效降低大语言模型(LLM)的注意力计算开销。然而,随着长上下文需求的增加,DSA 引入的轻量级闪电索引器因保持 O(L²) 的复杂度且必须在每一层独立运行,导致其整体计算开销随上下文长度增长而快速攀升。降低索引器开销成为加速推理的关键瓶颈。
01解决方案:IndexCache 跨层索引复用
清华大学与智谱(Z.ai)团队联合提出了 IndexCache 方法,旨在通过少量代码大幅减少冗余计算。该方法基于一个关键发现:模型在相邻层选择重要 token 时具有高度的相似性。通过利用这一特性,IndexCache 实现了跨层复用索引,从而在保持模型质量的同时,去除了 75% 的索引器计算。
02实测数据:200K 上下文性能提升
性能指标提升效果场景条件
预填充 (Prefill)提速 1.82 倍200K 上下文
解码 (Decoding)提速 1.48 倍200K 上下文
索引器去除率减少 75%无损模型性能

IndexCache 在 200K 上下文场景下的实测性能数据

03验证与结论
研究团队在 744 亿参数的 GLM-5 模型上进行了初步验证,结果显示该方法在更大规模模型中同样保持稳定,进一步证实了 IndexCache 的可扩展性与实际应用价值。这表明,通过跨层复用索引机制优化 DSA,是实现大模型高效长上下文推理的有效途径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了