投机解码提速 1.69x:P-EAGLE 已集成到vLLM
Amazon 与 NVIDIA 联合提出 P-EAGLE(Parallel EAGLE),将 EAGLE 的投机解码机制从自回归生成改进为并行生成。该技术现已集成至 vLLM 推理框架,旨在解决原版 EAGLE 在生成草稿 token 时因多次前向推理导致的开销瓶颈,通过单次前向推理生成所有草稿 token,从而显著提升大模型推理吞吐。
01核心原理对比
草稿生成机制对比
自回归生成
生成 K 个草稿 token 需要 K 次前向推理
投机深度(K)增加时,推理开销显著增大
通常在 K=3 时即达到性能瓶颈


并行生成
仅需 1 次前向推理即可生成所有 K 个草稿 token
消除了随深度增加的线性开销
在 K=7 时仍能保持最佳吞吐性能
02性能实测数据
基于 NVIDIA B200 平台和 GPT-OSS 20B 模型的测试结果显示,P-EAGLE 在多项基准测试中相比 Vanilla EAGLE-3 取得了显著的性能提升,特别是在小并发(c=1)场景下加速效果更为明显。
| 基准测试 | 配置 (并发) | Vanilla EAGLE-3 | P-EAGLE | 性能提升 |
|---|---|---|---|---|
| SPEED-Bench | c=1 | Baseline | 1.69x | 提速 1.69 倍 |
| SPEED-Bench | c=64 | Baseline | 1.25x | 提速 1.25 倍 |
| HumanEval | c=1 | Baseline | 1.55x | 提速 1.55 倍 |
| HumanEval | c=64 | Baseline | 1.23x | 提速 1.23 倍 |
| MT-Bench | c=1 | Baseline | 1.55x | 提速 1.55 倍 |
| MT-Bench | c=64 | Baseline | 1.05x | 提速 1.05 倍 |
NVIDIA B200 / GPT-OSS 20B 测试结果
此外,在 Acceptance Length(接受长度)指标上,当 K=7 时,P-EAGLE 相比 EAGLE-3 提升了 13% 至 31%,这意味着模型能够更有效地利用投机生成的草稿 token。
03部署与注意事项
- 模型支持
HuggingFace 上已提供预训练的 P-EAGLE drafter,支持的模型包括 GPT-OSS 120B、GPT-OSS 20B 以及 Qwen3-Coder 30B。 - 启用方式
在 vLLM 的 speculative config 中添加 "parallel_drafting": true 即可启用。示例命令:
vllm serve openai/gpt-oss-20b --speculative-config '{"method": "eagle3", "model": "amazon/GPT-OSS-20B-P-EAGLE", "num_speculative_tokens": 7, "parallel_drafting": true}' - 版本要求
该功能从 vLLM v0.16.0 版本开始支持。
需要注意以下几点限制:P-EAGLE 需要使用专门训练的 drafter,不能直接复用普通 EAGLE 的权重;目前 GPT-OSS 系列模型应用该功能需要额外的 patch(对应 PR #36684),预计将在后续版本中合并。
当前文章无评论,是时候发表评论了