9月20号之后，本地大模型圈的画风变了。B站一个视频干到了9871赞、15.7万播放、16531次收藏，标题简单粗暴。紧接着《卷疯了！27个量化版推荐》《号称对标满血BF16的IQ3》《它就是16G显卡最佳选择》一批视频挤进万级播放。到了10月1号，知乎一个置顶问题把攒了一周的情绪捅了出来：很多人认为本地部署一个大模型，就实现token自由，就可以干活了，真的吗？哔哩哔哩哔哩哔哩知乎
我把这20多天里8条万级/千级视频的标题主张、450多条评论区的实测回帖，按"名字-声称-实测-翻车点"摆成了一张表。先说结论：27B的本地分支战争已经从"能不能跑"进入"叫什么名字"的阶段，名字本身就是最大的信息噪音。装机之前，先过四道水位线。
一、先当解码器：27个版本，其实是三条产品线的排列组合
这周评论区吵得最凶的一条，是《27个量化版推荐》下面的吐槽：突出一个头衔够长够花里胡哨。把名字拆开看，其实只有三种成分：哔哩哔哩
成分 | 在改什么 | 本周常见后缀 |
|---|---|---|
量化格式 | 权重压到几个比特 | Q2/Q3/Q4/Q6k、Q5_K_XL、IQ3、GSQ、GSQ-RCO、PQ2（三值）、NVFP4、AWQ |
思考方式微调 | 不改体积，改"想多久" | Swift、EfficientThink、merkyor短思考、Signal、AREX-2、Whittle |
运行时分支 | 不改模型，改引擎 | ×NInfer、kvmem魔改版llama.cpp、Strata内存硬抗 |
一个完整名字=基座+微调+量化+引擎，比如"Qwen3.8-27B-GSQ-RCO-Coder"是量化线，"Swift-Qwen3.8-27B"是思考线，"bonsai27b+ninfer"是量化线撞上引擎线。Signal评测视频底下那条吐槽很传神：开头完全看不出来是什么的3.8 27B，但我却知道它是Qwen3.8 27B。所以第一个判断动作：看到长名字，先问它动的是哪一行。只动量化的，去第二节；只动思考的，直接看第五节。哔哩哔哩
二、第一道水位线：先验"成分"，再信"保留率"
量化圈的行话是"保留xx%智商"。Bonsai-2-27B那条视频33324播放、1520收藏，是本周最大福音书：把Qwen3.8-27B的权重压成三值（正一、零、负一）加FP16分组缩放，平均每个权重1.76bit，整个文件5.9GB，还挂着"保留98.2%"的名头。但"token自由"爆款视频的评论区，有人做了件很朴素的事——去仓库翻config：27B模型的FP16全精度权重怎么可能只有18GB？仓库里匹配18.2GB的文件，作者自己就写了量化标识，是3/4/5混合量化。哔哩哔哩哔哩哔哩
27B的FP16满血怎么也得50GB往上，18GB标"全精度"就是成分造假。同样的手术刀还能切两处：IQ3对标满血BF16那条视频343赞357评，评论比赞多，是典型的"跑分帖被群审"形态。《27个量化版推荐》底下的高赞评价更不留情：实测拉完了，纯刷分，有些压得太狠逻辑推理直接断崖式下滑。连社区新秀AREX-2（BAAI清华系）也被抓包：MLE-bench Lite同技能同轮次基座68.2、AREX-2 75.8，六个测试只放出来跟底座比的这一个。哔哩哔哩哔哩哔哩哔哩哔哩
社区自己已经立了一个新的智商锚点，来自"token自由"评论区被反复引用的一条：按照ds4.1f的价格和速度，只要是智商赶不上ds4.1f都是白扯，速度可以慢，但是智商必须达标。哔哩哔哩
配套的翻车样本，是那条被转了无数遍的回帖：5090一直部署q4权重做项目开发，试了这个7g版，速度确实快，但成功把项目改成了狗屎。第一道水位线的判法就此成型：别看保留率，看它敢不敢放全套基准、看量化标识那行字、看有没有人用它跑过真项目。哔哩哔哩
三、第二道水位线：decode和prefill是两种货币，标题只报一种
本周速度榜的画风是这样的：5070Ti 16GB显存跑GSQ-RCO的Q3量化，NInfer引擎下128K上下文，实测解码123.6t/s。笔记本单卡5090报出576tok/s，比你打字快一个数量级。两张V100更夸张，直接把2000t/s写进标题、115t/s decode藏在后面。哔哩哔哩哔哩哔哩哔哩哔哩
连花两千多块配机的用户都晒出了280tok/s，宣称达到付费API的速度水位。而评论区一针见血：现在都是这种标题党，只说速度的。把这些数字按口径拆开，画风立刻正常：知乎哔哩哔哩
口径 | 本周真实出现过的数字 | 备注 |
|---|---|---|
短上下文decode | 4070TiS单卡100.8t/s（7.12GiB显存、bf16可开120k上下文） | 自己改过代码的用户实报 |
长上下文decode | 同卡workbuddy部署176k窗口：prefill约420、decode 70-80 | 上下文一拉长，数字立刻打折 |
引擎优化decode | kvmem分支实测：LM Studio时代64k平均22t/s，换分支后256k平均32t/s（Q8 KV） | 注意：是22→32，不是22→120 |
prefill | 9700x+RTX5080、e5老平台+双3080等回报100-420t/s | prefill快≠打字快 |
体感总时长 | 5060Ti 16G用Q2档：45t/s，画一个鹈鹕骑车思考40分钟 | 思考链不设限，速度全白给 |
5060Ti那位用户把三件事说全了：45t/s的速度、雷霆大思考的毛病、“效果没有qwen27b-q4强，但比9B强太多”。画一个鹈鹕骑车，能思考40分钟。哔哩哔哩
部署最狠的那位，176k上下文跑agent任务，decode只稳在70-80——快口径和慢现实之间，隔着一整个投机解码。知乎还有句更扎心的8G实测总结：本地部署大模型，token是自由了，但你的人被绑在了进度条前面。所以看速度截图，先找它报的哪个口径、多大上下文、开没开思考限制。社区拿NInfer实测过一切修法之后的结论是：想少想直接开low，最后发现都没有自带的low损失能力小。哔哩哔哩知乎哔哩哔哩
四、第三道水位线：16G是主战场，也是翻车现场
评论区问得最直白的一句话，来自Signal评测区：我就想知道16GB显卡能部署的模型里面谁性能最强。本周16G档位实际发生的四件事，各有各的水位。哔哩哔哩
GSQ-RCO Q3实机128K上下文123.6t/s、160K可选，是16G档的当前速度标杆。
kvmem魔改分支号称256K全程满速，但按追帖用户说法：这个分支的UP这周才传的第一版，根据别人测试186k的时候才有少于记忆遗忘的问题，会导致重新思考。另一个用户的使用体感更具体：kvmem长上下文明显容易犯错，虽然智力感觉还在，但是总是犯错重试。哔哩哔哩哔哩哔哩
三值PQ2_0+ninfer把文件压到7GB级、号称8G卡流畅运行；NVIDIA官方nvfp4则是评论区公认的另一个选项——综合效果最好的其实还是官方那个模型。哔哩哔哩
排除项先划掉。8G及以下的用户已经被自己人劝退：27B已经过时了，还是换flash吧，不要显卡64G内存就可以CPU硬跑，显卡大于8G速度可到15t/s。拿RX580问能不能跑的人，本周所有实测楼里还没等到一个"能"字；问有没有12G能用的，答案还在攒。哔哩哔哩哔哩哔哩
16G档的选型逻辑不是"谁最快"，而是"你的任务允许哪个口径慢"：长文档RAG优先盯256K那一路并自己压测遗忘点；写代码盯agent任务通过率而不是t/s；纯聊天对智商容忍度高，才轮到极限量化上场。
五、第四道水位线：首周不装新，生态比参数先咬人
《27个量化版推荐》的评论区攒出了一整套"本地版本防坑公约"。第一条，只发演示不发复现路径的默认观望——“现在全都是ppt讲课，实操全为0”。哔哩哔哩
第二条，新分支首周不装机。UP已经预告了排期：明天，最晚后天，将一次性发布三款方案，当做大家的中秋节礼物。本周多个"第一版"（kvmem、Swift+GSQRCO）的评论区，全是四小时编译、覆盖源码的折腾实录。哔哩哔哩
第三条，格式生态优先于峰值速度：我只关心输出的后缀能不能还是gguf，毕竟要统一格式接入程序。“公司电脑保密不让联网，有两张5090，部署哪个模型写代码最好”，是本周版本推荐区最高频的问号。哔哩哔哩
微调线有自己的独立坑位：搞微调版的要么降能力，要么没解决过度思考的问题。Swift用户两边吵——一边"用了两天感觉非常好，编程思考确实能减半"，另一边"swift真的不如merkyor短思考版本，容易突然流口水"。哔哩哔哩哔哩哔哩
顶着EfficientThink名号的新分支，被用户一句话判了刑：这玩意儿比gsq还要慢。真正想清楚"token自由"定义的人已经给出验收标准：想真正的token自由，1智商要足，2速度快，3满血上下文——三条满足一半都不算数。哔哩哔哩哔哩哔哩
六、对号入座：本周版本怎么选，一张表
知乎那篇GGUF量化选型指南把方法论讲透了：先数清GGUF里到底有几个精度开关、每种量化值多少比特，再按内存预算倒推选型，然后提防那些不会报错但会悄悄毁掉结果的量化陷阱。把本周证据落到档位上：知乎
你是谁 | 本周动作 | 继续观察信号 |
|---|---|---|
16G卡、要长上下文RAG | kvmem分支可玩，但自己压测186k遗忘点；保守选官方nvfp4 | UP预告的三款新方案与"prefill 2000"新版落地 |
16G卡、写代码/agent | 别追速度榜，拿自家任务测通过率；Swift+GSQRCO是当下折中 | AREX-2剩下五个基准会不会放全 |
12G卡 | 有活例子：3060 12G+32G内存，swift的gsq量化加kvmem高上下文，桌面3D应用连跑七小时 | 12G专用档的量化配方还很少，等一等 |
8G及以下 | 离开27B战场走Flash路线，别为"token自由"标题买单 | 智商锚点不变：达不到云端旗舰价格/速度组合的，默认智商不够 |
Mac/统一内存 | 128G Mac Studio跑103.94GB级Flash-Next量化版是本周端侧新纪录 | 端侧与PC数值本周还没打通，单独等Mac线 |
断网办公机/团队部署 | 官方nvfp4+GGUF格式统一，别装本周任何"第一版" | vLLM侧的NVFP4兼容进度 |
表里那行12G案例，是Signal评测区一位用户回报的：还是3060 12G显卡+32内存，swift的gsq量化加上kvmem分支的高上下文，一个桌面3D应用跑了七个小时。Mac那行来自小红书的端侧实录：128G的Mac Studio M5 Max，跑的是Qwen3.8-Flash-Next的oQ4e-mtp量化版。哔哩哔哩小红书
七、写在最后
这轮分支混战最有意思的地方在于：社区第一次把"装哪个"变成了比"能不能装"更值钱的问题，而且答案开始按任务分叉了——跑RAG的、写代码的、玩Agent的、纯聊天的，正在变成四份不同的版本清单。你现在机子上挂着哪个版本、数字对得上对不上？评论区报一下配置和t/s口径，这张表按实测滚动更新。
