什么值得买App下载 App ›
连续签到专享现金活动

投机解码提速 1.69x:P-EAGLE 已集成到vLLM

Amazon 与 NVIDIA 联合提出 P-EAGLE(Parallel EAGLE),将 EAGLE 的投机解码机制从自回归生成改进为并行生成。该技术现已集成至 vLLM 推理框架,旨在解决原版 EAGLE 在生成草稿 token 时因多次前向推理导致的开销瓶颈,通过单次前向推理生成所有草稿 token,从而显著提升大模型推理吞吐。
01核心原理对比

草稿生成机制对比

自回归生成
  • 生成 K 个草稿 token 需要 K 次前向推理

  • 投机深度(K)增加时,推理开销显著增大

  • 通常在 K=3 时即达到性能瓶颈

并行生成
  • 仅需 1 次前向推理即可生成所有 K 个草稿 token

  • 消除了随深度增加的线性开销

  • 在 K=7 时仍能保持最佳吞吐性能

02性能实测数据
基于 NVIDIA B200 平台和 GPT-OSS 20B 模型的测试结果显示,P-EAGLE 在多项基准测试中相比 Vanilla EAGLE-3 取得了显著的性能提升,特别是在小并发(c=1)场景下加速效果更为明显。
基准测试配置 (并发)Vanilla EAGLE-3P-EAGLE性能提升
SPEED-Benchc=1Baseline1.69x提速 1.69 倍
SPEED-Benchc=64Baseline1.25x提速 1.25 倍
HumanEvalc=1Baseline1.55x提速 1.55 倍
HumanEvalc=64Baseline1.23x提速 1.23 倍
MT-Benchc=1Baseline1.55x提速 1.55 倍
MT-Benchc=64Baseline1.05x提速 1.05 倍

NVIDIA B200 / GPT-OSS 20B 测试结果

此外,在 Acceptance Length(接受长度)指标上,当 K=7 时,P-EAGLE 相比 EAGLE-3 提升了 13% 至 31%,这意味着模型能够更有效地利用投机生成的草稿 token。
03部署与注意事项
  • 模型支持
    HuggingFace 上已提供预训练的 P-EAGLE drafter,支持的模型包括 GPT-OSS 120B、GPT-OSS 20B 以及 Qwen3-Coder 30B。
  • 启用方式
    在 vLLM 的 speculative config 中添加 "parallel_drafting": true 即可启用。示例命令:
    vllm serve openai/gpt-oss-20b --speculative-config '{"method": "eagle3", "model": "amazon/GPT-OSS-20B-P-EAGLE", "num_speculative_tokens": 7, "parallel_drafting": true}'
  • 版本要求
    该功能从 vLLM v0.16.0 版本开始支持。
需要注意以下几点限制:P-EAGLE 需要使用专门训练的 drafter,不能直接复用普通 EAGLE 的权重;目前 GPT-OSS 系列模型应用该功能需要额外的 patch(对应 PR #36684),预计将在后续版本中合并。

评论

评论区空态插画

当前文章无评论,是时候发表评论了