谷歌开源Harness²:模型权重不动,改8个文件涨11.5分

源自45位全网作者

18:25

这两周,Agent 开发者的群里流行一个新口头禅。不再是"换哪个模型更强",而是 harness。什么阵仗?大家突然发现,自己还在手调 prompt 调到抠破头,外面已经有人开始让 Agent 重写自己的外壳了。

先把这个词说人话:harness 就是包在模型外面的那层"外壳"。prompt、工具说明、记忆组织、子 Agent 分工、脚本、插件——模型权重以外的一切,干的活是把"会聊天"变成"会干活"。流传很广的一句拆法:模型负责这一轮说什么,harness 负责这一轮结束之后,还允不允许它继续。执行循环判不判停,看的是这一轮有没有发出 tool call,系统提示里写再多"一定要做完",循环也不读这句话。知乎

10 月 9 日,Google Cloud AI Research 和西北大学把论文挂上 arXiv:Harness²,代码在 GitHub 开源、走 Apache 2.0 协议。卖点很狠——模型参数一克不动,只改模型外面那 8 类文件(system prompt、guardrails、memory、tool guidance、subagents、skills、scripts、plugins),让一个 Agent 去改另一个 Agent 的外壳。知乎知乎

谷歌开源Harness²:模型权重不动,改8个文件涨11.5分

分数也确实给脸:GLM-5 在 OpenCode 里跑 WorkBuddy-Bench,从 64.2 涨到 75.7,一步涨 11.5 分,直接反超没被优化过的 Gemini 3.5 Flash(72.4 分)。论文主图里,代码、网页、办公三个域换完外壳分别涨 7.4 到 9.4 分,探索预算从 1 次加到 5 次,曲线还在往上爬。知乎知乎

谷歌开源Harness²:模型权重不动,改8个文件涨11.5分

机制就三步:Propose–Probe–Compose——先跑一遍参考执行,提出两套改法,各试跑一次,对比"行为变了什么",而不是打分判对错。每处改动都是一个 diff,可审计、可回滚。任务做完不收工:系统会把"改了哪个组件、在什么情况下起作用、证据是什么"存进经验库,下一个任务按需取用,不整套照搬。知乎知乎

谷歌开源Harness²:模型权重不动,改8个文件涨11.5分

论文里有个很直观的 JobBench 任务案例:原来的外壳得 43.1 分,毛病出在流程上——几份源文件的数据从没对过账,产出文件写完就没再打开检查。改法朴素得可爱:先清点所有输入,每个数字追到出处,再用脚本把产出重新打开验证一遍。重跑之后数字对上了,缺的章节补回来了,分数直接到 77.8。知乎

谷歌开源Harness²:模型权重不动,改8个文件涨11.5分

但先别急着封神。这数据有两副面孔:涨得最少的 JobBench 组只多了 1.2 分(23.6→24.8),和最大涨幅差出快 10 倍。对照方法 ReasoningBank 在编码任务上反而最多掉 6.6 分,另一条线 Harness Scaling 在 12 组配置里有 7 组跑输原始 harness。这俩对照本身就说明:想让外壳多涨分,就得多花算力。知乎

负责改外壳的 editor 和给 JobBench 打分的裁判,是同一个 Claude Opus 4.8——"自己改、自己判"的嫌疑还在。README 也自己揭了底:执行器的网络访问不受限、Codex 的 sandbox 是关的,公开基准的评分标准网上可能直接搜到。证据走到哪,结论就只能说到哪:harness 改造不是免费午餐,更像从地上捡现成分。知乎

谷歌开源Harness²:模型权重不动,改8个文件涨11.5分

钱的问题也有人管。10 月 23 日前后,清华×智谱甩出 HarnessPro:把"成功率"和"成本"当成两个优化目标,一轮进化直接产出 Lite/Medium/Heavy 三档外壳。它最好用的一个观念是:成功的轨迹里也有浪费——一个邮件列表配置任务三次执行全过,但 token 分别烧了 106 万、176 万和 252 万,重复读文件、重复验证比比皆是。判定问题也被顺手修了:让 LLM 直接看轨迹打分,失败识别召回率只有 41.7%,换成自动生成的可执行测试,直接拉到 83.3%。知乎

对普通 Agent 开发者,这意味着三件今天就能抄的事:① 别在 prompt 里改一个字祈祷三天——把"怎么干活"变成文件,把改动变成 diff,把 diff 变成重跑对照;② Agent 发疯时先问"谁在判定这活干完了没",再问"要不要换模型";③ 分没涨先别看,先看账单——外壳改造很难让你登顶,但能让同一个模型干得更便宜。

模型的能力被锁死了,外壳没有。这个十月,风向已经从"炼丹"转向"工程"——而工程的意思是:抄得动。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章