谷歌推出TurboQuant算法,大幅削减AI模型内存占用
3月25日,谷歌研究院发布了名为TurboQuant的全新极端压缩算法,旨在解决大模型运行中键值缓存(KV Cache)的内存瓶颈问题。键值缓存是大语言模型生成文本时的高速缓存机制,虽然能避免重复计算,但高维向量带来的海量内存消耗严重限制了模型处理长文本的能力。传统高维向量量化技术往往因为需要为微小数据块计算和存储量化常数,引入了额外的内存开销,从而抵消了压缩优势。TurboQuant算法通过引入两项核心技术,在完全不牺牲预测性能的前提下,大幅降低了内存占用。
01核心运行机制
- PolarQuant主体压缩
打破传统笛卡尔坐标系,将数据向量转换为极坐标并映射到固定“圆形”网格上。这一过程免去了昂贵的数据归一化步骤,彻底消除了传统方法的额外内存开销。 - QJL残差处理
利用量化Johnson-Lindenstrauss(QJL)算法处理第一步遗留的微小误差。仅用1比特的残差压缩算力即可消除偏差,确保模型计算出精准的注意力分数。
02性能实测表现
研究团队在Gemma和Mistral等开源大模型上进行了基准测试,并与KIVI、PolarQuant及FullCache等方案进行了对比。结果显示,TurboQuant无需任何预训练或微调,即可将键值缓存高效压缩至3比特。
| 技术方案 | KV Cache (比特) | 准确率得分 |
|---|---|---|
| FullCache | 16.0 | 50.06 |
| KIVI | 5.0 | 50.16 |
| TurboQuant | 3.5 | 50.06 |
| KIVI | 3.0 | 48.50 |
| TurboQuant | 2.5 | 49.74 |
| PolarQuant | 3.9 | 49.78 |
不同压缩技术在准确率测试中的数据对比
在长上下文“大海捞针”测试中,TurboQuant实现了零精度损失。在H100 GPU加速器上的实测显示,4比特TurboQuant的运行速度比未量化的32比特基准提升了8倍,并将内存占用降低至原来的1/6。
03市场影响
TurboQuant算法的推出对存储芯片市场产生了显著冲击。由于该技术大幅降低了对内存容量的依赖,引发了市场对存储需求的担忧。消息公布后,存储芯片板块股价全线下跌,美光科技下跌4%,西部数据下跌4.4%,希捷下跌5.6%,闪迪重挫6.5%。
当前文章无评论,是时候发表评论了