什么值得买App下载 App ›
连续签到专享现金活动

谷歌新论文证明LLM可以少吃80%内存,闪迪盘中跌去50亿美元,但跌得可能有点早

大语言模型(LLM)在推理过程中的内存开销一直是制约其规模化部署的核心瓶颈。其中,KV 缓存(Key-Value Cache)随着上下文长度的增加呈线性增长,往往占据数倍于模型权重的存储空间,成为运营成本中最大的单项支出。Google Research 近期发布的 TurboQuant 算法,通过创新的向量量化方案,宣称能将 KV 缓存压缩至 3 比特,且实现零精度损失,在 NVIDIA H100 GPU 上测试取得了高达 8 倍的性能提升。
01技术原理:极坐标变换与量化降维
  • PolarQuant 极坐标量化
    将输入向量从笛卡尔坐标系转换到极坐标系。通过随机旋转,使向量分布收敛到已知的 Beta 分布,从而实现坐标间的近似独立。这使得算法能够对每个坐标独立使用最优标量量化器,不再需要存储逐块的量化常数(如缩放因子和零点),从根本上消除了传统方法的额外内存开销。
  • QJL 量化 JL 变换
    利用 Johnson-Lindenstrauss 变换将高维数据降维,并将结果压缩至一个符号位(+1 或 -1)。其核心价值在于提供无偏的内积估计,这对注意力机制的计算至关重要,且整个过程零额外内存开销。
  • 两阶段流水线
    TurboQuant 结合两者,先由 PolarQuant 以 b-1 比特精度完成主体压缩并吃掉绝大部分误差,再由 QJL 对残差进行 1 比特变换以消除内积估计偏差。信息论证明,该方案的失真率仅比 Shannon 下界差约 2.7 倍常数因子,理论上已接近最优边界。
02性能表现:精度无损与即时压缩
在多项基准测试中,TurboQuant 展现了优异的压缩效果与推理稳定性。
测试场景对比方案TurboQuant 表现
大海捞针KIVI (0.981分)压缩6倍下达0.997分(与未压缩持平)
LongBench综合16比特全精度3.5比特下平均分50.06(持平)
LongBench综合16比特全精度2.5比特下平均分49.44(微降)
向量搜索 (GloVe)RabitQ (597秒)召回率更优,码本构建仅需0.0007秒
向量搜索Product Quantization各维度1@k召回率均优于基线

TurboQuant 关键测试数据概览

03竞品对比与落地局限

技术路线对比

推理路径实时压缩
  • 目标是在推理过程中即时压缩 KV Cache 并直接计算注意力

  • 兼顾向量搜索场景

  • 无需离线构建码本,适合数据持续更新的在线索引

存储传输紧凑优化
  • 借鉴 JPEG 压缩思路,侧重于紧凑存储与传输

  • 典型场景是多轮对话间卸载到 CPU/SSD 或跨请求复用

  • 针对长上下文、多轮对话场景优化

尽管 TurboQuant 在同类向量量化路线上将压缩比从 KIVI 的 2.6 倍提升至 6 倍以上,但目前仍存在明显的落地局限。实验主要在 8B 参数模型上验证,尚未在 70B 等更大规模模型上测试,而后者恰恰是压缩需求最迫切的场景。此外,虽然论文已发布近一年,官方尚未公布代码实现或与主流推理框架的集成计划,落地仍依赖社区第三方复现。
从市场需求角度看,此类压缩技术扩大的是推理效率的供给侧,而非缩减内存需求总量。根据“内存帕金森定律”,硬件或软件优化释放的内存余量,很快会被更长的上下文窗口、更大的批处理规模所填满。因此,TurboQuant 带来的效率提升,更有可能被转化为处理更多并发请求的能力,而非导致市场对内存需求的实质性减少。

评论

评论区空态插画

当前文章无评论,是时候发表评论了