这周科技圈被Qwen4-Max刷屏:2.4万亿参数、百万上下文,单任务成本砍六成。但说实话,跟本地党没半毛钱关系——这种巨无霸只活在API里。想等的Qwen4-27B?社区盘着发布日期表:最乐观也得撑到11月底。知乎知乎哔哩哔哩
与其干等,不如回头看看你硬盘里那个Qwen3.8-27B。8月开源到现在三个月,它依然是本地24G档最能打的稠密模型,而且这几天生态又厚了一层,速度这事,还能再榨一倍。
先算显存账:Q4_K_M是24G卡的甜点位。一份实测记录:Q4_K_M权重16.5GB,跑起来显存21.5/24GB,稳稳的。想上Q5_K_M?19.9GB权重进来,KV cache直接挤不出地方;Q6_K更狠,22GB。权重吃掉的每一GB,都是从上下文预算里抢的。知乎

为什么慢?瓶颈根本不在算力。3090Ti上27B Q4跑47 tok/s,看着寒碜,其实已经贴着带宽上限了——每生成一个token就要把16.5GB权重读一遍,1TB/s的带宽理论天花板约60 tok/s。调batch、加线程、开flash-attn,都是白忙活。知乎
真正能改命的是投机解码。同一个模型,配上官方配套的MTP草稿头,47直接干到78-87 tok/s,约1.7倍,显存几乎没多占。这周还有更猛的:腾讯优图联合高校的DSpine放出了Qwen3.8-27B专用drafter,单卡RTX PRO 6000上BF16长上下文写代码实测3.98倍;社区拿混合NVFP4版本复测,短请求冲到472 tok/s,百K长上下文续写也有约2.98倍。当然,别人卡的倍数别直接抄作业,长文本、代码这类"难猜"的输出,收益会打折。知乎知乎

量化包这边也在翻新。Unsloth的动态量化3.1版宣称同体积准确率提升5-10%。NVIDIA和RadixArk的NVFP4配方刚出炉,公开基准上已经贴着BF16打。但原文作者自己泼了冷水:这些提升别外推到你的业务,尤其工具调用、严格JSON输出这种末段场景,得自己回归测。知乎知乎

最后两个装过的人才知道的坑:llama.cpp里-c 65536会被默认4个slot平分,单条请求真想用满64K,得加–parallel 1,代价是同时只服务一个请求。下16GB权重记得用断点续传脚本,校验SHA256时认准HuggingFace LFS的oid字段,API里那个xetHash不是它。知乎
Qwen4-27B落地可能就在这把。但一个装好、调快、能常驻的27B管线,模型一换就无缝续上——等最好的,和用当下的,从来不冲突。
当前文章无评论,是时候发表评论了