这轮本地部署，救场的不是厂商，是网友。
8月14日Qwen3.8-27B开源，有玩家周五一早拉下来用家里的5090跑了一天，发帖说“我云端API的调用量直接掉了一半”。社区外号更直白——“本地Opus 4.6”，SWE-bench Pro以8.3分的优势超越Claude Opus 4.6 Max。小红书知乎
听着无敌？本地玩家很快扒出一个致命短板：雷霆思考。
做Coder390的开发者Lynn逐题翻原版错题——13道题思考顶满94K被硬截断、全部空答记零。方向经常对，就是刹不住车，自己把答题预算烧光。放进本地Agent，这就是工具调一半、上下文爆掉的定时炸弹。知乎
于是他花俩月做蒸馏后训练，自报成绩单：GPQA 89.9%、MMLU 90%、LCB 90%，三项齐90所以叫Coder390，P90档超长思考压掉45%以上。这一周“比肩Opus 5.5”的实测视频刷满了B站知乎。知乎哔哩哔哩
门槛这条链更好看。那篇“直接抄作业”的部署帖把账算得很直白：官方说17GB能跑，说的是模型文件；真实体验及格线是24GB，低于它就是能跑但别指望丝滑。而社区已经砍出三条更便宜的野路子——小红书
16GB档：Coder390的Q2一键包，带NInfer引擎、免装CUDA，打包者备注写得像排雷手册：纯英文路径、exe和9个DLL别拆开、模型别自己去HF重下——原包MTP头里有5个q4_0张量，本引擎不认，一开MTP就FATAL。哔哩哔哩
8GB档：加州理工系团队PrismML把53.8GB权重压成三值，体积只有5.93GB，官方口径20项基准平均83.9分、保留98.2%能力。它还登顶了Hugging Face趋势榜第一。知乎小红书知乎
7.89GB档：Underdog的Saluki 2-bit版，把原版压到7.89GB，工具调用还打赢了原版。而所谓7倍压缩保住96%，同样是卖家秀。小红书
热闹归热闹，三盆冷水必须泼：
一，复测有之，水分也有之：14项思考模式基准实测Bonsai平均得分84.78，远超IQ2_XXS的72.59分。可量化口径不同，分数能差12分以上。Coder390的三项90至今没有第三方复测，Saluki的“96%保留”翻来覆去也只是打包方的话。视频跑分别当评测报告。知乎哔哩哔哩
二，8G卡的速度是实测出来的：三值版6.57 tok/s，原版Q4_K_M只有3.82，新版比原版快1.7倍！但比MoE架构慢4.7倍。8G档聊天凑合，Agent长任务真别硬撑。小红书
三，网盘包省事，但你搞本地部署图的就是数据不出域，却先被引导下载一个包内已就地修复过的权重进内网。这买卖拧巴——敏感项目优先用ModelScope官方权重，第三方包验过再上。哔哩哔哩
抄作业收尾：24G以上，官方27B加MTP放心跑，优化后可达到191 tok/s的生成速度。16G的40系可以试Coder390，但自报分数要心里打折。8G老卡，Bonsai就配当聊天机。上下文别急着拉满256K，第一次统一从32K开始，模型、速度、内存都正常了，再往上加。知乎小红书
本地部署真正的门槛，从来不是显存，是你查数字时肯不肯多花那十分钟。
