投机解码被“投机”了!多猜一次,大模型推理速度再提升5倍
投机解码已成为业界加速大模型推理的标准手法,通过让小模型草稿、大模型验证的机制提升效率。然而,传统方法中草稿与验证的串行依赖限制了性能上限。2026年3月,斯坦福大学、普林斯顿大学及Together AI的研究人员联合提出了一种名为Saguaro的新方案,旨在打破这一瓶颈。
01技术瓶颈与突破思路
传统投机解码存在结构性瓶颈:草稿模型的“猜”和大模型的“验”是串行的。验证结束后,草稿模型才能根据结果开始下一轮,导致总有一方处于闲置状态。Saguaro的核心思路是去掉这种串行依赖,让草稿和验证同时进行。当大模型验证当前猜测时,草稿模型即预测验证结果(接受多少token、奖励token是什么),并预先将对应的下一轮猜测存入“投机缓存”。若实际验证结果命中缓存,直接采纳预备序列;若未命中,则退回普通投机解码。
02三层优化策略
- 几何级数缓存构建
在预算B约束下,最优扇出分配应服从上封顶的几何级数。即越靠后的位置(接受更多token),分配的猜测预算越少,将计算资源集中在概率更高的前序路径。 - Saguaro采样方案
在草稿采样阶段故意压低缓存候选token的概率,使残差分布的概率质量向这些候选集中。虽然这会降低接受率,但缓存命中率的提升足以补偿,从而在端到端速度上获益。 - 自适应后备策略
小batch size下使用即时投机;当batch超过临界值b*时,切换到随机token或n-gram等极低延迟后备方案,防止单个序列未命中导致整体等待。
03实测效果与局限性
| 对比维度 | Saguaro (SSD) | 标准投机解码 |
|---|---|---|
| 最高加速比 | 约5倍 (相比标准自回归) | 基准 |
| 缓存命中率 | >90% (贪心解码) | 无此机制 |
| 缓存命中率 | >70% (温度0.7采样) | 无此机制 |
| 硬件需求 | 需5张GPU (独立硬件) | 4张GPU |
Llama-3.1-70B在H100上的性能对比(Batch Size 1)
Saguaro在跨数据集(HumanEval、GSM8k等)的平均测试中表现出色,即使计入多出的一张GPU成本,其单GPU吞吐效率仍优于基线。然而,该方法大幅增加了草稿端的计算开销,且依赖草稿模型运行在独立硬件上,更适合低延迟场景而非吞吐受限场景。
- 1vLLM
- 2SGLang
- 3TensorRT-LLM
- 4NVIDIA H100
- 5Llama-3.1-70B
当前文章无评论,是时候发表评论了