如何在单张 RTX 3090 上让 Qwen3.5-27B token 生成速度提升 6 倍
Qwen3.5-27B作为混合架构模型,结合了Gated DeltaNet与Softmax Attention,在24GB显存的消费级显卡上运行面临极大挑战。现有的vLLM和SGLang框架主要依赖BF16权重,需要54GB以上显存,无法在单张RTX 3090上部署。为了在硬件受限的情况下实现高效推理,trycua团队基于C++/ggml构建了独立的投机解码器,利用DFlash块扩散技术与DDTree验证器,成功在RTX 3090上实现了高性能解码。
01架构设计:DFlash与DDTree验证
该方案通过硬编码模型对,将计算图胶水代码移植至ggml,并保留了DeltaNet内核。系统采用贪心验证策略,DFlash draft的块大小设定为16。与传统的链式DFlash相比,DDTree验证器通过树形结构并行验证多个候选token,从而提升了验证效率。在混合Q4_K_M/RTX 3090的组合中,DDTree比链式DFlash提升了15%的性能。
02性能对比:显著的加速效果
| 测试场景/方案 | 速度 (tok/s) | 相对提升 |
|---|---|---|
| DFlash (演示视频峰值) | 207.6 | vs AR 快 5.46 倍 |
| DFlash (HumanEval, DDTree budget=22) | 129.5 | vs AR (37.78 tok/s) 快 3.43 倍 |
| DFlash vs SGLang AWQ | 129.5 vs 46.6 | 快 2.8 倍 |
| Qwen3.6-27B (60K上下文, 新测试) | 89.7 | vs Full Attention 快 3.64 倍 |
RTX 3090 上的性能测试数据对比
03关键优化手段
- 内存与计算优化
使用f16中间缓存使内存带宽减半,提升约5%的性能;采用持久化写入内核跳过耗时约9ms的ggml_cpy操作,性能提升11%。 - 数据传输与算法改进
消除GPU→CPU→GPU的往返数据传输,每步节省约3ms;树感知的ggml_ssm_conv_tree优化了卷积窗口收集逻辑。 - Bug修复与快速路径
修复了extract_draft_topk反转bug和verify_logits_buf溢出问题;引入budget=15且K=1的快速路径,跳过耗时的CPU top-K提取。
04显存适配与长上下文支持
为了在24GB显存中容纳128K上下文,该方案采用了Q4_0格式的KV缓存,相比f16实现了8倍的压缩比。同时,结合滚动的4096-slot target_feat环形缓冲区,将target_feat的显存占用从6.6GB降至0.2GB。在128K上下文的HumanEval测试中,生成速度仍能达到134.78 tok/s。针对Qwen3.6-27B的补充测试显示,通过引入sliding window Flash-attention和two-phase缓存,在60K上下文下解码速度可达89.7 tok/s。
05后续计划
- 守护进程模式
实现多轮对话中模型常驻内存,将首token延迟从秒级降至毫秒级。 - 采样与模型支持
在验证路径中加入Temperature/top-k采样,支持Q5_K_M/Q6_K等更高精度的目标模型。 - 集成与算子开发
全面集成到llama.cpp,开发no_inter算子变体以解锁更大的PREFILL_UBATCH限制,提升吞吐至1500 tok/s。
当前文章无评论,是时候发表评论了