什么值得买App下载 App ›
连续签到专享现金活动

如何在单张 RTX 3090 上让 Qwen3.5-27B token 生成速度提升 6 倍

Qwen3.5-27B作为混合架构模型,结合了Gated DeltaNet与Softmax Attention,在24GB显存的消费级显卡上运行面临极大挑战。现有的vLLM和SGLang框架主要依赖BF16权重,需要54GB以上显存,无法在单张RTX 3090上部署。为了在硬件受限的情况下实现高效推理,trycua团队基于C++/ggml构建了独立的投机解码器,利用DFlash块扩散技术与DDTree验证器,成功在RTX 3090上实现了高性能解码。
01架构设计:DFlash与DDTree验证
该方案通过硬编码模型对,将计算图胶水代码移植至ggml,并保留了DeltaNet内核。系统采用贪心验证策略,DFlash draft的块大小设定为16。与传统的链式DFlash相比,DDTree验证器通过树形结构并行验证多个候选token,从而提升了验证效率。在混合Q4_K_M/RTX 3090的组合中,DDTree比链式DFlash提升了15%的性能。
02性能对比:显著的加速效果
测试场景/方案速度 (tok/s)相对提升
DFlash (演示视频峰值)207.6vs AR 快 5.46 倍
DFlash (HumanEval, DDTree budget=22)129.5vs AR (37.78 tok/s) 快 3.43 倍
DFlash vs SGLang AWQ129.5 vs 46.6快 2.8 倍
Qwen3.6-27B (60K上下文, 新测试)89.7vs Full Attention 快 3.64 倍

RTX 3090 上的性能测试数据对比

03关键优化手段
  • 内存与计算优化
    使用f16中间缓存使内存带宽减半,提升约5%的性能;采用持久化写入内核跳过耗时约9ms的ggml_cpy操作,性能提升11%。
  • 数据传输与算法改进
    消除GPU→CPU→GPU的往返数据传输,每步节省约3ms;树感知的ggml_ssm_conv_tree优化了卷积窗口收集逻辑。
  • Bug修复与快速路径
    修复了extract_draft_topk反转bug和verify_logits_buf溢出问题;引入budget=15且K=1的快速路径,跳过耗时的CPU top-K提取。
04显存适配与长上下文支持
为了在24GB显存中容纳128K上下文,该方案采用了Q4_0格式的KV缓存,相比f16实现了8倍的压缩比。同时,结合滚动的4096-slot target_feat环形缓冲区,将target_feat的显存占用从6.6GB降至0.2GB。在128K上下文的HumanEval测试中,生成速度仍能达到134.78 tok/s。针对Qwen3.6-27B的补充测试显示,通过引入sliding window Flash-attention和two-phase缓存,在60K上下文下解码速度可达89.7 tok/s。
05后续计划
  1. 守护进程模式
    实现多轮对话中模型常驻内存,将首token延迟从秒级降至毫秒级。
  2. 采样与模型支持
    在验证路径中加入Temperature/top-k采样,支持Q5_K_M/Q6_K等更高精度的目标模型。
  3. 集成与算子开发
    全面集成到llama.cpp,开发no_inter算子变体以解锁更大的PREFILL_UBATCH限制,提升吞吐至1500 tok/s。

评论

评论区空态插画

当前文章无评论,是时候发表评论了