『15t/s聊天没问题』和『挂3件工具一件都不调用』都是真的：27B 上岗试工这 48 小时，我把 8 组真机自报、2 个 harness 级对照和 1 条方差质疑摆进同一张表——把本地 27B 接进 Agent 前，先对完接口、预算、上下文这三本账

这 48 小时，本地社区对 Qwen3.8-27B 的讨论换了个问题。八月开源那会儿，吵的是"能不能跑"；上周刷屏的是 Coder390 这类魔改版"编程第一、速度第一"的口碑，一条视频 414 赞、1.2 万播放。而从 10 月 12 日开始，B 站、知乎、小红书同一时间冒出来一批新帖，问的是另一个问题——跑起来了，然后呢？ 4bit 量化 15–18 词元/秒，聊天挺顺，一接 Agent 就露馅：有人给它挂了三件专业工具，调用率是零；有人用 OpenCode 挂了整整一个小时，一行有效代码都没吐；也有人把它驯服成每天自动跑评论日报的机器人。这篇就服务一类人：手里 8G–24G 显存、模型已经装好、正打算把本地 27B 接进 Agent 工作流的玩家。我把这 48 小时里 8 组真机自报数字、两个 harness 层面的对照和一条评论区里最狠的质疑，摆进了下面这张表。哔哩哔哩

第一本账：接口账——它不是不用工具，是你的签名让它用不起

先看那组最扎眼的：双 7900XTX、Q5_K_M、96K 上下文，给模型配了结构语法搜索、语义文档检索、单测运行三把"大杀器"，结果单任务里三件工具调用率全部为 0，最后全靠最基础的 Bash 解决战斗。评论区有人一句话点破：国产模型不爱用静态分析工具，除非在工作流里强制约束它什么时候用，否则真的一点都不动。UP 主置顶总结的三条法则更值得抄下来：Bash 才是大模型真正的母语；工具不在于多，环境干净隔离最重要。哔哩哔哩

再看 4070TiS 那组，实验更细。同一台机器、同一个 27B，工具签名写成 count_chars(文本)，它每次"数一数"中位要吐 1370 个词元、22.4 秒——因为接口要求它把整篇文章原样再输出一遍才能数；把签名换成 count_file(文件名)，同一件事：55 个词元，2.2 秒。前后差 10 倍，这不是模型的智商问题，是你把计算外包给了它，而它的"计算"方式是一个字一个字吐。16G 档那位同学的入门现场也是同一本账：llama.cpp 带着 -fa on、-ngl 99 把 UD-IQ4-XS（13.3GB）拉起来，rocm-smi 里显存占到 83%，生成约 18 词元/秒——先别嫌慢，他跟着就发现更底层的问题：自己手里这份魔改阉割版 llama.cpp 源码里根本没有 MTP 的 nextn 权重，加载日志直接标 unused，提速开关在这台机器上从一开始就不存在。哔哩哔哩小红书

那位把 27B 做成评论日报的知乎作者，从反面验证了同一条铁律：凡是"条数"“统计"这类活，prompt 里写死"只能引用统计数字，不要自己数”，模型只返回 review_ids，代码去数据库里数。三件事连起来看，27B 的 agent 接口账就三笔：签名收文件名和 ID，别收内容；数字让代码数，别让它数；能 Bash 干的别发明新工具。

第二本账：预算账——截断一次，整条对话报废

4070TiS 那位还做了个"省钱"测试：把输出预算从 4096 压到 1200，结果工具参数 JSON 写到一半被截断，结束原因变成"达到长度上限"——然后这条对话就废了，之后每次请求都返回 500。最坑的是它报的是"JSON 语法错"，不是"预算不够"。你以为模型坏了，其实是预算断了。本地 agent 的报错信息是有欺骗性的，截断和智障长得一模一样。哔哩哔哩

预算账里另外两笔。一是思考模式：评论日报作者把 enable_thinking: false 列为必做项——Qwen 系列默认先输出一大段思考，对分类这种活没帮助，每条评论还慢好几倍；坦克大战那组更直接，OpenCode 侧持续卡在 Thinking 整整一小时，进程没崩、推理没停，就是没有产出。二是合法性校验：llama.cpp 的 response_format 能把 JSON Schema 编译成 GBNF 语法、在解码时就约束输出，但作者仍然加了 pydantic 二次校验取值、失败重试——因为语法约束只能保证"是合法 JSON"，保证不了"填的是对的字段"。写一半截断、整段思考、合法但胡填，是预算账的三个坑。知乎

第三本账：上下文账——不是它笨，是你的 harness 太重

"我的 Qwen3.8-27B 终于能干活了"那条小红书（248 赞、77 评、331 藏）给出了社区最一致的诊断：Codex、Claude Code、WorkBuddy 这类主流 Agent 工具上下文太长，本地内存本来就有限，KV 直接爆炸，根本吃不消。作者的解法是把整套都换轻：部署端用 oMLX（对 KV 做了优化），加速配 DFlash2 投机解码草稿模型（15–18 提到 40），客户端选 opencode 或 Pi——Pi 的系统提示词被压缩到 1000 以内。对照评论区那三个专业工具零调用的实验，置顶第二条法则说的正是同一件事：给小模型套上过度繁琐的思考规则，极易诱发长上下文思维链坍塌。上下文越长、塞的规则越满，它越不干活。小红书

另一个上下文坑是内存账：评论日报那台 M3 Pro 36GB，模型常驻吃约 17GB，任务脚本再起一份同名模型，内存里就是 2×17GB，直接开始疯狂换页。解法朴素得像个运维常识：启动前先查别处有没有加载同名服务，有就复用。“每天跑一次的任务，加载模型那十几秒完全可以接受”——按需启动、单份常驻、复用端口，这三句值得贴在机箱内侧。知乎

速度账顺手补一句，然后把话说清楚

8G 档的朋友先把"跑不动"的冤案洗掉：5060 Laptop 那张卡，6.57 词元/秒测了三天以为 8G 命里没有 27B，查启动日志才发现 llama.cpp 根本没调 GPU，改对之后 IQ1_S 29.46、Bonsai 27B 32.15，速度条直接拉到 4.89 倍——但同一条帖子也写了反面边界：“能塞进显存"不等于"能用”，复杂任务能力该降还是降。小红书

A 卡这边也有同款实测：9070（不带 XT）16G 跑 GSQ-RCO 的 IQ3_S，视觉编码器挪出显卡能开 128K 上下文、20~35 词元/秒。作者顺手留了句提醒：同参数下 llama.cpp 的 vulkan 版生成速度只有 rocm 版的一半，A 卡玩家别选错后端。小红书

Mac 档 15–18→40 靠 DFlash2。真要给速度找一个参照系，得看 125B MoE 那边：5070ti+48G，IQ3_XXS+KV Q8+128K，峰值 120、均 75、填充 3300；另一组 Strata+Flash-Next 的长跑记录——近 20 小时、25 轮、2.2 亿 token，游戏框架、debug、加功能全部完成。把完成度和 27B 这边"一小时出坦克大战"摆在一起看，结论只能说到证据为止：27B 的 agent 干的是"可校验、可分段、数字外包"的单轮活，超长多轮项目的完成度记录，目前还在 125B 那一边。哔哩哔哩知乎

还有三处反证要摆在明面上：坦克大战是 AMD 单卡单次实测，OpenCode 卡死可能是那个客户端的适配问题，不是所有 harness 都会卡一小时。7900XTX 实验的 B 组"快 142 秒"每组只跑一轮，耗时方差没消，评论区这条质疑是对的。所有八组数字来自不同机器，横向比速度没有意义，能比的只有同一台机器上开关前后的差值。所以这篇给的不是"换不换模型"的答案，而是"先别急着换"的理由：接口、预算、上下文这三本账没平之前，你判断不了 27B 的真实上限。知乎哔哩哔哩

最后给四步自查，按顺序做完再决定要不要折腾别的：一、启动日志确认 GPU 真在跑（offloading layers to GPU）；二、工具签名只收文件名、ID、路径，凡是"数"“查表”“比对"交给代码；三、分类/摘要任务关 thinking，输出预算留足一整段 JSON 的长度，语法约束之后加一层取值校验；四、客户端换干净的（系统提示词 1000 以内那档），同名模型全机只常驻一份。做完这四步还是不干活的，那才轮到怪模型。下一个观察信号在明天：ModelScope 官方账号发帖，阶跃 Step5Preview 预计 10 月 15 日上午 11 点开开源，定位写得就是"面向真实 agent 任务”——参数和显存门票还没公布，发布后 24 小时内社区的工具调用率实测和超长任务报告，才是它的真实档位测试。在那之前，先把手里这台 27B 的账对完。哔哩哔哩