8月14日,Ollama在v0.32.12正式版里把Qwen3.8-27B带进了模型库,官方给的评价是这代模型在编程、专业工作、研究和长程agent任务上都有明显提升。GitHub此后社区的讨论很快从“能力怎么样”切换到“跑得快不快”,争议的焦点集中在一个设置上:MTP。
乐观的说法相当诱人:有视频教程称,通过一个隐藏设置可将Qwen 3.8 27B的生成速度从60 tokens/s提升至167 tokens/s,且无损。哔哩哔哩但评论区完全是另一种画风:有人劝千万别开,开了会怀疑人生;有人说上下文一长反而掉速、模型还变蠢;还有人觉得显存开销太大,意义不大。
同一个设置,两种截然不同的体验。这篇文章把知乎、B站、小红书上的三组实测和Ollama官方材料翻了一遍,说清楚这个开关到底什么时候该开。
MTP是什么:不让模型变聪明,只让它出字更快
MTP,多令牌预测(multi-token prediction),属于投机解码的一种。原理不复杂:主模型旁边挂一个小而快的“草稿头”,先猜出接下来的几个token,再由主模型一次性验证,留下它认同的部分。Ollama官方博客猜得准的话,一次前向计算就能提交好几个token,出字速度自然上去了。文本越有规律,命中率越高,所以写代码这类充满括号、重复标识符和模板句式的场景受益最明显。
落到Qwen3.8-27B上,MTP的启用成本很低:MTP版权重和普通q4版共享同一组GGUF blob,之前下过普通版的话,只需再补一个约1GB的草稿头。知乎
Ollama在这件事上不需要手动配置:加速默认开启,且不改变模型输出。Ollama官方博客草稿数量由引擎在运行时动态调整,命中率上不去时会自动退回逐字解码,理论上不会帮倒忙。但版本有门槛:Ollama 0.32.13才正式支持qwen3.8的MTP,低于它会报412要求升级。知乎
三组实测数据:短上下文下的提速是实打实的
第一组来自Mac阵营。有博主在M系芯片的Mac上用Ollama 0.32.13做了对照:同一个写代码提示词、同样32K上下文、都关掉思考,各跑3次取平均,普通版每秒出3.12个token,MTP每秒出6.11个token,差不多快了一倍。知乎写代码、改bug、写长文这种要一次性出很多字的场景,等待时间基本能省一半。
三组数据放在一起看:
实测环境 | 关键条件 | 未开MTP | 开启MTP | 提升幅度 |
|---|---|---|---|---|
Mac(M系芯片) | Ollama 0.32.13,32K上下文 | 3.12 tok/s | 6.11 tok/s | 约1.96倍 |
3×RTX A6000 | llama.cpp,draft-n-max=2,不限功率 | 25–31 tok/s | 约58 tok/s | 约87% |
高端N卡平台 | Cloud Codes视频实测 | 60 tok/s | 167 tok/s | 约2.8倍 |

第二组是知乎上公开的3×RTX A6000服务器实测:基础Q4_K_M版本在限功率与不限功率下分别约25 tok/s和31 tok/s,MTP设置draft-n-max=2、不限功率时平均约58 tok/s。知乎发帖人还算了一笔功耗账:功率只多花约17%,速度提高约87%,对不在乎风扇噪声的机器来说是笔划算买卖。
第三组就是开头那个传播最广的视频实测:高端N卡平台上60 tok/s的底子,开启后到167 tok/s,约2.8倍。
Ollama官方此前在Gemma 4上也给出过同样方向的数据:Aider编程基准测试里,M5 Max跑Gemma 4 12B(nvfp4),未开MTP 50.2 tokens per second,开了是95.0 tokens per second。Ollama官方博客官方同时提醒,MTP的收益高度依赖负载类型,输出内容越可预测,提升越大。
上下文一长,账单就到了
第一笔账单是内存。Ollama用的是动态KV缓存,短上下文时看着只有17-18GB,相当克制,但用到256K时内存会涨到约35GB。知乎按每token约70KB的KV系数估算,128K以上的日常使用,内存规划就必须认真对待了。
更直接的账单是速度。评论区有人把长上下文下的掉速过程描述得很具体:长上下文开不开都会掉,不开从33t/s掉到19t/s,开了从70t/s掉到30t/s。哔哩哔哩这也是“别开,会让你怀疑人生”这类劝退声音的主要来源。
两个容易踩的坑也要提前说,都不在速度层面,而在配置层面。
第一个坑是上下文默认值。裸标签qwen3.8:27b-mtp-q4_K_M的num_ctx默认才2048,直接ollama run开聊吃不到长上下文,要按用途显式指定上下文长度变体。知乎
第二个坑是对照基准过期。此前不少教程让你拉的普通版qwen3.8:27b-32k已经弃用,拿它当对照基准的老攻略可以直接忽略。知乎
还有一种更主观的吐槽:开了MTP,模型在长上下文下似乎会变蠢。哔哩哔哩这个说法目前没有系统性的对照测试支撑,先不下结论;但如果你对输出质量敏感,长上下文任务里发现质量明显下降,第一时间关掉MTP复测一次,是最省成本的排查方式。
值不值得开?先对照三件事
别急着跟风,先问自己三个问题:日常上下文有多长、显存或内存有多少、跑的是什么活。
值得开的情况:日常以32K以内的短上下文为主,写代码、对话、单文件处理,硬件是24GB显存跑q4_K_M,或者32GB以上统一内存的Mac。32K是这套配置下写代码的甜点,内存约19GB,Mac跑起来很轻松。知乎对这部分用户,MTP接近免费午餐:等待时间近乎减半,几乎没有额外代价。启用命令很简单:
`ollama pull qwen3.8:27b-mtp-q4_K_M`
谨慎开的情况:64K以上长上下文是日常刚需,或者显存本来就吃紧。前面两笔账单已经说明,长上下文下硬开,既要吃掉速,又要顶内存压力。16GB显存的用户不妨换条路:社区里已经有人用小量化加压缩KV缓存的方案把路趟出来了,128k上下文,稳定40+ token/s,本地干重复的活完全够了。小红书

不用折腾的情况:跑离线批处理任务,或者对现有速度已经满意。目前热门硬件的基础速度区间可以参考:2080Ti 22G魔改卡单卡约27 tok/s,双卡加NVLink能到43 tok/s,输出速度提升60%左右,可使用的显存也翻倍。知乎

新卡用户也不必只盯着MTP:5060 Ti 16G走DFlash2投机解码路线、主模型用IQ3量化的方案,开启DFlash2可以达到50 t/s,没开启约29 t/s。知乎

三个值得继续盯的信号
第一,量化版本还在快速更新。unsloth昨天把Qwen3.8的量化全覆盖了一版,iq4 xs比首发小了1GB。哔哩哔哩评论区还提到这次把MTP头拆了出来,在意磁盘占用和更新灵活性的玩家可以继续跟进。
第二,DFlash2路线。和MTP共享权重的草稿头不同,DFlash2是另一套投机解码实现,特点是草稿模型小、KV占用低:Qwen3.8-27B的KV Cache比普通27B模型小很多,使用q4_0 KV Cache时,262K上下文大约需要5GB。知乎这给了16GB显存机器同时保住长上下文和投机加速的空间,llama.cpp自编译版本已经支持。

第三,官方还在持续修补性能细节。v0.32.15把首token延迟砍掉了近一半,v0.33.0预发布版的重点之一是prefill缓存与恢复点:一次被中断的prefill不必从零重来,重试直接从断点继续。GitHub对天天跑长上下文的agent场景,这是实打实的等待时间节省。
一句话收尾:MTP不是万能开关,它在短上下文里是免费午餐,在长上下文里是付费服务。看清自己的显存和常用上下文长度,再决定开不开。