什么值得买App下载 App ›
连续签到专享现金活动

投机解码被“投机”了!多猜一次,大模型推理速度再提升5倍

投机解码已成为业界加速大模型推理的标准手法,通过让小模型草稿、大模型验证的机制提升效率。然而,传统方法中草稿与验证的串行依赖限制了性能上限。2026年3月,斯坦福大学、普林斯顿大学及Together AI的研究人员联合提出了一种名为Saguaro的新方案,旨在打破这一瓶颈。
01技术瓶颈与突破思路
传统投机解码存在结构性瓶颈:草稿模型的“猜”和大模型的“验”是串行的。验证结束后,草稿模型才能根据结果开始下一轮,导致总有一方处于闲置状态。Saguaro的核心思路是去掉这种串行依赖,让草稿和验证同时进行。当大模型验证当前猜测时,草稿模型即预测验证结果(接受多少token、奖励token是什么),并预先将对应的下一轮猜测存入“投机缓存”。若实际验证结果命中缓存,直接采纳预备序列;若未命中,则退回普通投机解码。
02三层优化策略
  1. 几何级数缓存构建
    在预算B约束下,最优扇出分配应服从上封顶的几何级数。即越靠后的位置(接受更多token),分配的猜测预算越少,将计算资源集中在概率更高的前序路径。
  2. Saguaro采样方案
    在草稿采样阶段故意压低缓存候选token的概率,使残差分布的概率质量向这些候选集中。虽然这会降低接受率,但缓存命中率的提升足以补偿,从而在端到端速度上获益。
  3. 自适应后备策略
    小batch size下使用即时投机;当batch超过临界值b*时,切换到随机token或n-gram等极低延迟后备方案,防止单个序列未命中导致整体等待。
03实测效果与局限性
对比维度Saguaro (SSD)标准投机解码
最高加速比约5倍 (相比标准自回归)基准
缓存命中率>90% (贪心解码)无此机制
缓存命中率>70% (温度0.7采样)无此机制
硬件需求需5张GPU (独立硬件)4张GPU

Llama-3.1-70B在H100上的性能对比(Batch Size 1)

Saguaro在跨数据集(HumanEval、GSM8k等)的平均测试中表现出色,即使计入多出的一张GPU成本,其单GPU吞吐效率仍优于基线。然而,该方法大幅增加了草稿端的计算开销,且依赖草稿模型运行在独立硬件上,更适合低延迟场景而非吞吐受限场景。
  • 1vLLM
  • 2SGLang
  • 3TensorRT-LLM
  • 4NVIDIA H100
  • 5Llama-3.1-70B

评论

评论区空态插画

当前文章无评论,是时候发表评论了