国庆一结束，本地推理圈的讨论重心换了。前两周大家还在追"8G显存跑125B"的Strata热潮和"怎么不花钱把推理跑起来"，这两天帖子齐刷刷改成了更实际的下半场：模型是跑起来了，它到底能不能干活？知乎上挂着一个问题：很多人认为本地部署一个大模型，就实现token自由，就可以干活了，真的吗？ 它问到的正是这轮热潮过后每个人都要面对的下一题。小红书上"国庆高强度玩了下本地模型，几点个人想法"10月4日刚发出来。 这些散在不同平台的信号拼起来是同一件事：这轮"能跑起来"革命的第二堵墙，名字叫"干活"，而这堵墙上跑分和实战的落差比想象的大。知乎小红书
Strata官方仓库放着一张演示图：一块12G显存的RTX 5070，本地引擎稳定输出50.4 tokens/s，左半边是实时的显存、吞吐和请求监控，右半边是模型正在按一条提示词生成体素宝塔花园，生成完直接在浏览器里跑。 这就是"能跑"那一面，漂亮得很，下面的内容是"干活"那一面。GitHub
先说最矛盾的一组材料：同一模型，跑分封神，实战翻车
PrismML的Bonsai 2 27B，一个三值量化、只要7GB显存、8G卡就能塞下的模型。有位知乎玩家拿一张改装RTX 3080跑了1414道DebugBench真实调试题：一张8GB显卡就能跑的本地代码模型，在DebugBench上拿到了62.2%的通过率，超过了Claude Sonnet 4.6的38.8%。知乎
同作者316题LiveCodeBench大样本的选型建议更直接：不差钱选DeepSeek V4 Pro（66.6%），本地部署选ThinkingCap-Qwen3.6-27B（59.5%），显存紧张选PrismML-Ternary-Bonsai-27B Q2_0，仅需7GB。 单看跑分，7GB的本地模型在调试类任务上已经摸到了云端旗舰的腰部。知乎
但海外开发者Luke’s Dev Lab在16GB显存上实测同一款Bonsai 2 27B，给出的结论是不推荐用于专业开发：复杂编码任务中Token消耗巨大，Q1版本多次失败，Q2虽能完成但效率极低，长上下文记忆召回率低。哔哩哔哩
两个结论都是真的，因为它们测的根本不是同一件事：跑分是"一题、一问、一答，交卷"，真实编码是"扔进工程里、跨文件改、跑测试、再自我修正"。单轮短任务，本地27B级模型真能打出接近云端的成绩；长链任务，它接不住。
接不住，具体死在哪：三个硬数字
第一是速度。 同一套评测框架测出来的账：7B模型约30 tokens/s，27B约8-15 tokens/s。 一张5060 Ti 16G的知乎用户把qwen2.5-coder-32B塞进显存失败、层溢到内存后，输出速度直接掉到每秒几个词，等它写完一个函数，我手动都写完了。 同样是27B量级，Strata能把5070调到50 tokens/s——这中间的差距就是"引擎调没调对"和"硬塞"的区别，别拿别人的速度数字套自己的机器。知乎知乎
第二是Agent循环。 云端那边一来一回几秒钟，本地这边一次推理几十秒起步，Agent一天能自己试错的次数，我这边一上午才走完一轮，等它改完黄花菜都凉了。 杀死编码场景的不是智力，是上下文长度和推理速度撑不起多轮来回。更反直觉的是它不会干脆地失败：1414道题的数据里，通过的题中位耗时87秒，没通过的中位142秒，慢了62%。 模型在不会做的题上会死磕，你等它的时间直接换算成电费和耐心。知乎知乎
第三是思维链循环。 这是整场评测里最贵的一课：Qwen3.6-27B在Hard难度题目上生成的内容突然膨胀到150KB以上，打开一看，全是思维过程的无限重复。 一个27B模型在1800秒超时内可以循环几十万token，白白浪费时间和电力。 所以想让本地模型挂夜跑任务，必须开stream实时监控token流并加循环检测，否则烧的不是模型的脑子，是你的电表。知乎知乎
顺便说个统计常识：50题跑分榜是当下最大的误导源
同一位评测作者，50题初筛给ThinkingCap-Qwen3.6-27B的结果只有30.0%，排在Bonsai和DeepSeek API后面，按这个分数它该被贴上"表现平庸"的标签直接淘汰。知乎
但扩到316题，它的通过率暴涨了将近30个百分点，直接反超Bonsai。同一个模型两次50题运行还能差4%，作者的结论很硬：如果一个模型比另一个高3%，不能断言它更强，可能只是运气，至少跑200+题才能得出有意义的排名。知乎
还有那句值得裱起来的话：号称代码专用的Qwen3-Coder-30B-A3B，50题通过率仅22-26%，Hard题全部失败——名字里的Coder是营销，不是保证。 所以最近社区里流传的各种"XX模型吊打XX"榜单和几道题的截图，转发前先问一句：样本量多少。知乎
那本地模型到底能干什么活？
把翻车和跑通的帖子放在一起看，能干活的清单出人意料地收敛，全是"短输出、单轮、高频试错"的活：
调试类、短代码问题：1414题的数据摆在那，7GB级就能打。公司代码库不出内网，是本地在这个场景最硬的赢面——隐私不是情怀，是合规。
出图和LoRA试错：本地出一张图的边际成本接近零，同一个构图跑二十个种子挑一张，LoRA权重从0.6一路调到1.1看效果，这些事在云端做，账单会替你刹车。 那位5060 Ti用户半年的出图量，已经把显卡钱从云端按张计费里省回来了。Mac统存阵营最近多了条新路线：9月20日才发布的Qwen-Image-2.1图像模型，有人用mlx-serve在24GB的M4 Air上跑通，模型约14GB，常驻约10.7GB。知乎小红书
断网、飞机、客户现场没外网：这些场景是"没得选"，反而成了本地最稳的存在理由。
企业端已经把它算进账本：混合路由架构成主流，敏感数据本地推理、其余脱敏上云，生产实测降本60%-70%。 注意这是企业账本，别直接抄到个人机器上。哔哩哔哩
干不了活的清单同样收敛：Agent长链、长上下文召回、AI视频。那位5060用户拿Wan2.1生成视频，一次只能生成五六秒，8-15分钟才能出一个窗口，创作节奏完全被打断。知乎
算账：什么时候值得买卡，什么时候API更划算
硬件侧的几档真实价都在帖子里。第一档：去年年底有人花两千八买了张5060 Ti 16G。 第二档：改装3080总投入2500-3200元拿到20G显存，对比一张全新RTX 4090 24GB的12000+元，相当于用四分之一的价格换了八成三的显存。知乎知乎
电费这边，本地推理的边际成本是电费，一台RTX 3080满载约320W，挂一整晚也就一两块钱的事——"token自由"里真正免费的部分确实只有电费。知乎
但"免费"不等于"划算"。那位5060 Ti用户给出的结论是全文最直白的一句：想用AI写代码的，别买卡，直接买API，这是踩坑换来的实话。 连5090 32G这种顶配用户都算得清：这么做在经济账上是血亏的，Qwen 3.8完全没有长程任务的能力，24小时连轴转就是纯纯给自己找麻烦。 把这几篇账合起来就一句话：本地适合"玩它和用它你都不心疼"的活，不适合"等着它交工"的活。知乎知乎
最后这节，给已经跑起来的人：55条评论提炼的避坑清单
B站的"Codex本地化Qwen3.8整合包"是这周热度靠前的本地工具帖，评论区55条基本就是当下的踩坑地图。哔哩哔哩
显存闲置类：4090 24G显存闲置、CPU跑满，评论区问得最多的一句就是"为什么是99%用cpu运行，显存闲置？"——九成是GPU卸载层数没开满或驱动、CUDA没装对，先查这里再怀疑模型。哔哩哔哩
环境兼容类：CUDA 12还是13的编译版本要匹配、LM Studio里下载的模型换个工具不识别、skill文件卡在1000个文件和12MB的限制上——前两类UP主已发布10月4日修复版，剩下的只能自己绕。
速度玄学类：整合包提速这事，评论区已经有人拆穿——和lm studio速度一样的，这个只是部署加前端界面优化，本身部署和使用底层都一样。 前端不加速度，引擎才加速度，同一层东西别交两遍钱。
宣传照妖镜类：看到"XG显存跑XXB"，先查它最小量化文件的体积——网上各种写的小显存可跑都是忽悠人的，主模型最小的量化都是19g，audio和vae加起来也是十几个g。 内存、算力门槛一起核，别只盯显存。小红书
接下来盯什么
三个值得持续观察的信号：LM Studio这周开始有Q4量化提速和GPU卸载的实测内容放出来，值得拿自己的显卡对一遍数字和体感。 316题级别的大样本评测目前还是孤例，等更多人拿本地27B级模型复测，"跑分追平云端"能不能扩到其他型号才有定论。最后，在内存和显卡仍在涨价的周期里，改装3080这种"四分之一价格换八成三显存"的野路子会不会从小圈层变成大众方案，也值得盯着。如果你国庆也把模型跑起来了，先在自己机器上量三个数：每秒多少token、单轮推理多少秒、50题和316题的成绩差多少——然后你再决定，是继续给"token自由"交电费，还是回去老老实实买API。哔哩哔哩
