这周的本地模型圈，几乎是围着一块模型转的：27B。
时间线先捋一下。9月17日，有UP主整理出27个Qwen3.8-27B社区量化版，一天之内收藏破500。 9月18日，PrismML工作室发布Ternary-Bonsai-2-27B，把27B模型的语言骨干压缩到每权重约1.7比特、文件只有5.93GB，官方宣称保留了FP16基准分数的98.2%。 9月19日，零度解说发布Qwen3.8-27B正式开源的实测视频，标题里直接写着"最低8GB显存就能跑"，一天播放1.3万。哔哩哔哩哔哩哔哩哔哩哔哩
三天三个爆点，全指向同一件事：小显存跑27B。于是问题来了——你的显卡到底行不行，Bonsai 2到底是小显存神器还是跑分泡沫？我把B站、知乎、小红书这三天的实测帖和评论翻了一遍，把数据和翻车现场摆在一起看，答案比"香"或"垃圾"都复杂一些。
先说清楚，为什么大家都在抢27B
Qwen3.8-27B这个模型，参数量不大，但定位很鸡贼：Apache 2.0开源权重、原生视觉（图片文档截图视频都能看）、262K原生上下文还能扩到100万token。跑分上最有说服力的是两个：SweBench Pro拿到61.7，反超Opus 4.6 Max的53.4；OSWorld计算机操作84.3，同级最强。小红书
翻译成人话：它不是最聪明的模型——HLE只有30.8，刁钻推理照样卡壳——但"不难只是长"的活，读文件、跑命令、看输出、跟50步计划不跑偏，它真的很稳。这正是本地党要的：数据不出门、零token费、当一个本地Agent的大脑。一台48GB统一内存的Mac配Ollama就能拉起来，这也是小红书上那批"坐不住了"帖子的由来。
争议核心：98.2%是跑分，你的体感不一定认
Bonsai 2最抓眼球的数字是"保留98.2%原版智能"。这句话对不对？对，但只对了一半。
看正方证据。UP主"玩客笔记"用单张RTX 3060 12GB做了目前最完整的一轮压测：Bonsai 2（PQ2_0，语言模型7.21GB+视觉投影0.63GB），全层GPU offload、128K上下文配置、Q4_0的KV Cache，显存占用约10.78GiB（88%，还有安全余量），生成速度平均32.76 tokens/s，prefill平均511 tokens/s。哔哩哔哩
质量这边，EvalScope 102样本盲测：中文日常对话（C-Eval）85%，和原版Qwen3.8-27B Q4完全持平；指令遵循和代码小幅下滑、日常可用；但通识理解（MMLU-Pro）下滑约20%，综合能力等效于原版Q3水平。 他的结论是：这不是7B模型，是实打实压缩进8GB开销的27B逻辑底座，千元卡当主力本地Agent模型合格。哔哩哔哩
再看反方。UP主"逻辑仓管AI运营"16GB显存，苦27B久矣，看到98.2%直接上头下载，实测结论是"啥也不是"——上下文号称能开262K、能看图能调工具，跑起来另一回事。哔哩哔哩
评论区更热闹：有人实测30K以下上下文才快一点，思考没跑完就死循环，“远不如原版4bit量化的”。 也有人对线回来，说自己16G显存配MTP、KV Cache用q8_0，能开120K上下文，prefill 500-180、decode 45-18 tokens/s，“已经是勉强能用的速度”；还有人拿编程题同题测试，Bonsai 2明显打赢Ornith 1.5-35B和Qwen3.8 IQ2量化，但发现一个关键开关：不能开xhigh思考档，要开medium。哔哩哔哩
把两边证据叠起来，几个被吵糊的点其实能澄清：
第一，"98.2%的智能"和"98.2%的跑分"是两句话。那个数字是FP16基准的综合分，分项里MMLU-Pro掉了约20%。日常对话你感知不到，通识和长链路任务会露馅。
第二，33 tokens/s是有条件的。那是128K配置下短上下文的decode速度；评论区同款3060 12G实测，上下文开到64K就掉到个位数tokens/s。看任何速度数字，先问一句"多长上下文"。
第三，死循环不是玄学。极端量化下无脑开思考模式，很容易token溢出、无限循环——把思考档降到medium，是这波实测里被反复验证的实操经验。
第四，先查散热再骂模型。知乎上有位V100用户折腾一周换了无数配置，27B模型怎么调都只有4 tok/s，最后发现是散热不足导致热降频，SM时钟从1100+ MHz暴跌到135MHz，散热修好同一个配置直接跳到31 tok/s。 你测出来的"慢"，未必是模型的锅。知乎
你的显存对号入座，这比争论重要
把三天里能找到的实测数据按显存档归拢，大概是这么一张图：
8G档（RTX 2070/4060）：能塞进去，但要降低预期。UP主"ZZ是画渣"用服役8年的RTX 2070实测Qwen3.8-27B：IQ2量化写小说速度尚可但思维链容易断裂；IQ4_XS能跑复杂Agent任务，但速度只有1 token/s。 他的结论很实在：16G以上显存，27B才能流畅胜任绝大多数本地Agent工作。另外16GB的M4 Mac mini一键安装27B，实测生成速度也就10 token/s左右。 真话就是：能跑≠能用，日常聊天行，重活慎重。哔哩哔哩哔哩哔哩
10-12G档（RTX 3060 12G/3080 10G）：Bonsai 2的主场。3060 12G的完整数据上面说了，10.78GiB占用、33 tokens/s、C-Eval持平原版。3080 10G开50K上下文能到60 tokens/s。这档显卡是这波三值量化的最大受益者，但要接受长上下文衰减。追求速度可以叠加MTP推测解码，实测投机命中率能到五成以上，解码速度还能再上一截。
16G档（5060 Ti/5080/4080）：最容易翻车的一档，因为"看起来够用"。小红书上有人用5080+32G内存装Qwen3.8-27B，以为token自由，结果CPU内存拉满还是吞吞吐吐——原因很简单，Q4原版塞不进16G，部分层溢到内存里，速度直接跳水。小红书
评论区给的路子更聪明：别硬刚原版Q4，用GSQ-RCO这类16G优化量化（IQ3_S）配llama.cpp的adaptive-kv-streaming分支，5060 Ti 16G能跑40 tokens/s、150K上下文还有15 tokens/s。 要么就老老实实Bonsai 2+MTP。小红书
20-24G及以上（3080 20G/4090/专业卡）：原版Q4_K_M甜点区，不用碰三值量化。有3080 20G用户跑Q4量化能有50 token/s，省下的显存还能把上下文拉满256K。 A卡这边，7900 XTX 24G在Windows上折腾Vulkan和HIP双后端的对比实测也已经有人做完了，选对后端速度差得不是一星半点。V100 32G用户的经验是：别用vLLM跑AWQ-INT4（只有3.5 tok/s），换llama.cpp+GGUF能到64 tok/s。小红书知乎
Mac统一内存48G：27B Q4流畅可用的最低门槛群体，Ollama一条命令的事。唯一的坑是默认上下文没拉满，等于白买跑车挂一档，记得手动把context length调上去。小红书
下载之前，先过一遍这份避坑清单
这三天帖子里反复出现的坑，浓缩成五条：
性能异常先查散热和降频（nvidia-smi盯频率），再怀疑模型和参数；
KV Cache量化在llama.cpp上优先q4_0，其他档长上下文会掉进慢路径——V100用户实测q4_0比q8_0省4GB显存、prefill更快、召回无损。知乎
下载认准文件名，unsloth的K-quant全带UD前缀（Unsloth Dynamic量化），XS
极端量化（三值、IQ2）别开高思考档，medium起步；
速度慢先看是不是爆显存层卸载了——16G卡跑原版Q4必爆，换量化版本而不是加内存。
最后，按人群给结论
如果你是想省token费的轻度用户，说句得罪人的：API比电费便宜，这是5080翻车帖评论区点赞最高的清醒发言。 知乎上有位5060 Ti玩家折腾半年的结论也一样——编码场景，每月几十块API钱比硬件便宜太多，那张卡在编码场景的真实身份是"昂贵的摆设"（但跑Stable Diffusion是真香，这是另一篇的故事）。小红书知乎
如果你是数据不能出门的刚需党（公司保密要求、离线环境），这周确实是入坑窗口：12G显存走Bonsai 2当日常Agent底座，16G走GSQ-RCO+优化分支，24G直接原版Q4。模型文件就几个GB，试错成本比显卡便宜多了。
如果你是纯折腾党，不用我说，27个社区量化版+Bonsai 2的PTQ1/PQ2_0双版本，够玩到下个月。
接下来值得盯的信号有三个：Bonsai会不会出第三代并修掉死循环问题；GSQ-RCO这类社区优化量化会不会被官方收编；adaptive-kv-streaming分支什么时候合进llama.cpp主线。这三个任何一个落地，8-16G显卡跑27B的体验都会再上一个台阶。到那时候，"小显存跑大模型"就不只是刷屏标题了。
