什么值得买App下载 App ›
连续签到专享现金活动

演示能过,正经活不敢交:本地AI的41道题在看运气

装好了。聊天框里问什么都答得又快又顺,你还顺手截图发了群。

然后你让它干点正经活——批量改文件、跑一整套流程、接上工具自动处理——它开始翻车。

先给结论:这不一定是你配错了。11月19日到20日这两天,B站和知乎上冒出几组一手实测,都指向同一件事:本地模型真正的门槛不是显存、不是 tok/s,是能不能重复做对。哔哩哔哩知乎

演示能过,正经活不敢交:本地AI的41道题在看运气

一遍对,不等于五遍都对

B站UP主九物AI生产力11月20日那期视频给了一组数:同一张 RTX 3090、同一天、六个模型(四个本地、两个云端),每个跑五遍,一百道 BFCL 多轮工具调用题。Qwen3.8-27B 的平均分 62.8%,一百道里至少做对过一次的有 83 道。判分方式也值得单拎出来——跑完去比对系统状态,不听模型自己说“我做完了”。哔哩哔哩

但五遍全对的只有 42 道——中间那 41 道,看运气。扎人的地方在这儿:你装完跑一遍 demo,活在“83”那个世界里,感觉良好;你天天拿它干活,活在“42”那个世界里。哔哩哔哩

同一期视频把卡点拆成四层:接线层,请求在读出环节就丢了(对话模板没读出来、特殊标记被吞、agent 无响应);循环层,它干一半停下来问你,五百次里问了三百二十二次;能力层,同一个模型换一种任务形状,从 86% 掉到 49%;验证层,它说做完了,你手上却没有判据。

温度调到 0,它照样翻面

B站另一个UP主“打工的小满”做了组更细的对照实验,11月20日连发两集。条件卡得很死:同一份 16258 字文档,ctx 24576,温度 0,随机种子固定,Qwen2.5-7B 的 GGUF 量化版,llama.cpp 本地跑,每条件 30 轮。哔哩哔哩

演示能过,正经活不敢交:本地AI的41道题在看运气

只改了什么

字数

30 轮里对了几轮

什么都没改

16258

30/30

只改标题里几个字

16258

30/30

把 10 条规范的顺序打乱

16258

0/30

只换掉 30 条记录里的人名

16258

0/30

字数一个字没变,从全对翻到全崩。换人名那组,system 里的文档一个字没动,只改了 30 条 user 输入。

第二集又试了九种排列:同样只交换一对,甲崩、乙好、丙好、丁崩;交换 5 对、10 对反而全对;全部打乱又崩。他的结论是——不是乱得越多越容易崩,是每种排列各自踩没踩到那条线。哔哩哔哩

提醒一句:这是一位UP主在 7B 小模型上的对照实验,样本有限,他也明说“暂时没找到原因,不下结论”。别当成通病,但足够说明:温度 0 不等于确定性。

打上补丁,也不一定变聪明

11月19日,玩客笔记在单卡 RX 7900 XTX 24GB 上测了官方那个 319MB 的 Pi LoRA 补丁——模型卡宣称能让 Qwen3.8-27B 的编程成功率涨 25.5 个百分点。8 道本地硬题跑完:原版 6/8,挂补丁 6/8,一分没涨。

但把 17 份原始日志拉回来做 SHA256 核验后发现,补丁不是白装:在两边都全对的 5 道题上,工具调用从 63 次降到 36 次(少 42.9%),少吐 33.5% 的 token,总耗时省 19%。显卡吐字速度 86–87ms/tok,一点没变。哔哩哔哩

它没变聪明,只是少绕了路。顺带一句:官方跑分的环境,和你这台机器从来不是同一台。

演示能过,正经活不敢交:本地AI的41道题在看运气

那到底能怎么办

三件事,都不花钱。

第一,别信一遍,跑五遍。 记的不是“对了几道题”,是“五遍全对的有几道”。这个数字才接近你日常真会拿到的东西。

第二,把“它说做完了”换成一个判据。 文件在不在、字段对不对、状态改没改——跑完去比对,别听汇报。知乎上有人给了个更糙但好用的版本:给它一个需要连续做 20 步的任务,看第 15 步还记不记得第 3 步查到了什么。

第三,一次调用只干一件事。 知乎一篇讲结构化输出的文章引了 Tam et al. 2024 的实测:格式卡得太严,部分推理任务分数反而掉。所以“一轮里既要思考又要填表”最容易崩;稳的做法是先让它自由写推理,再单独一轮抽结构,真要严格格式就上 llama.cpp、vLLM 里的约束解码,外面套一层校验重试兜底。知乎

演示能过,正经活不敢交:本地AI的41道题在看运气

壳里还有两处不碰权重的活。工具清单按使用频率排,清单一长,排在中间那几个基本等于没写。报错也别整段丢回去,改成四行:第几步、传了什么参数、期望什么、实际拿到什么。知乎

顺便一个真坑:有人在本机跑 codex 接自己部署的模型,长文件写到一半就停,查出来是客户端给的兜底元数据太保守,单次输出被卡在 3208 token。补上元数据,同一个任务连着跑了 34 分钟没断。这类坑不在模型里,在客户端和壳里。知乎

本地部署买断的不只是 token 费。它还顺手把验收这个岗位,交给了你。

评论

评论区空态插画

当前文章无评论,是时候发表评论了