同样的模型、同一套40道题,第一轮只答对2道,第二轮答对16道。模型参数一个没动——被换掉的,是包在模型外面的那圈程序。知乎
谷歌11月20日公布的这项研究,让智能体开发圈集体坐不住了。设定不复杂:模型固定用 Gemini 3.8 Flash,外面只套了一个142行的Python执行程序。研究人员让另一个AI当"教练":翻失败日志,改这层执行程序,每次只动一个模块,验证通过才留下。知乎
看失败记录,场面相当滑稽:有的任务12轮机会用完了还在反复读大文件;有的更离谱,代码一行没改,它就收工了。执行程序改的也不是玄学:文件查看改成按范围返回、命令行输出太长就截断、两轮以前的旧观察压成摘要,再在模型说"我干完了"之前加三道闸——git diff 要有改动、改过的 Python 文件要能编译、测试必须跑一遍并通过。知乎
还有一项被退回的修改:把轮数上限从12加到18。开发集分数涨了,验证集反而跌,消耗超预算——不留。智能体不靠谱,很多时候不是机会不够,是喂进嘴里的垃圾太多。知乎
但"8倍"先别急着抄进PPT:2道到16道,基线是142行的弱起点。真正耐看的是另外两个数——把这层程序原样移植给另一个模型、不做重新优化,答对题数从4道变成15道,harness的价值不绑死在任何单一模型上。而放任推倒重写的那组虽然多做对1道题,每题token消耗却从46.7k涨到451.6k。十倍的钱,一道题。知乎
同一天摊开账本的还有OpenAI。11月18日的内部报告显示,编码智能体在2–4小时任务上的无人干预成功率,从3月的23%升到了10月的46%。4–8小时任务从13%升到35%;拆开看差异巨大:监控训练任务能做到79%,推理与服务代码只有25%;研究员人均每天智能体花费中位数约2400美元。头部实验室的智能体离了人盯,4小时任务也就干成一半,天还没塌。知乎36氪
为什么最近人人都在聊"harness"?海外开发者Theo的厨房比喻一句话说透:米其林大厨拿着菜谱被关进四面白墙的空屋,没有菜刀灶台,他拿什么做菜?模型是厨子的脑子,harness是那间厨房——工具循环、上下文管理、沙箱、验收闸门。一个公认的公式:Agent = LLM + Harness,可靠性是外层给的。知乎
这不是新玄学:2024年的SWE-agent就在做限定行数的文件查看、编辑后语法检查,出错的编辑不让通过。新的是把工程师手工调这套常识的活自动化了——让机器看日志、改模块、跑验证。所以12月15–16日的中国AI智能体大会,主办方智猩猩策划组织了八场技术研讨会,把 Agent Harness 单独列了进去。知乎知乎
看完去检查你自己的智能体,就三件事:结束前有没有闸门?工具是不是在往模型嘴里吐大段垃圾?失败后是不是只会反射式加轮数?别急着换模型,那8倍可能一直藏在你那142行代码里。
当前文章无评论,是时候发表评论了