什么值得买App下载 App ›
连续签到专享现金活动

谷歌新研究:AI智能体改一处外壳代码,成功率暴涨8倍——但有三个坑

先说一个反直觉的结论:你手里的AI智能体干活不利索,问题可能不出在模型上,而是模型外面那层"壳"没搭好。

这两天,谷歌一篇关于智能体自我改进的研究在技术圈刷屏,标题乍看有点夸张:只改一处代码,任务成功率暴涨8倍。把论文和讨论读下来,事情其实挺有意思。知乎

这层"壳"是什么?

模型再聪明,真正干活时外面还套着一层叫 harness 的壳:上下文怎么塞、记忆怎么存、工具什么时候调、干完活怎么验收,全是琐碎但要命的活。没人给模型递扳手,或者干完活没人拦着它别急着交卷,它照样把事情搞黄。知乎36氪

谷歌新研究:AI智能体改一处外壳代码,成功率暴涨8倍——但有三个坑

谷歌是怎么优化的?

他们把一份142行的初始壳代码拆成四块:上下文状态、流程、工具调用、验收,然后让一个优化器直接改这层壳的代码,每轮只许改一块,改完跑测试,通过就留、不过就扔。知乎

结果,任务成功率从5%干到了40%,正好8倍。还有两个结论更值得记住:知乎

  • 光改提示词,反而更笨:代码一行不动、只改规则文案,成功率从5%掉到2.5%。"你要这样、不许那样"是咒语,不是约束。知乎

  • 推倒重写不划算:放开限制让它重写整个壳,成功率只多抬到42.5%,但每条任务烧的token从4万多冲到45万——花十倍成本,换两个多点。

一句话版本:真正管用的约束要写进代码里、让测试去卡,而不是写成一段求模型配合的话术。

新论文:换了模型,壳会失效

问题来了——壳是为A模型调出来的,换成B模型怎么办?谷歌11月19日公开的SIM(自我改进记忆)论文直戳这个痛点:模型一换,精心优化的壳可能立刻水土不服,专为Claude演化出的壳,搬到Gemini上甚至可能带来"负收益"。因为迁移时往往只带走了最终版本,没带走"当初为什么改、预期是什么、测试结果如何",导致智能体重复试错。36氪

谷歌新研究:AI智能体改一处外壳代码,成功率暴涨8倍——但有三个坑

于是谷歌让优化器随身带一份记忆:每条修改按它解决的问题归组,记录理由、预期、实测结果和评估情境,后续优化时逐条决定保留、修订、替换还是删除。在编程领域的10组配对实验里,带着这份记忆的优化在9组都取得提升,最终分数平均高出2.36分,p值0.003。在从Opus迁移到Gemini的跨模型设定下,这份记忆同样压过了"只带壳"和"只留问题根因"的两种做法。36氪

谷歌新研究:AI智能体改一处外壳代码,成功率暴涨8倍——但有三个坑

三个坑,得说在前面

  1. "8倍"是相对倍数,基数很低:40道题里从做对2道变成做对16道,40%的成功率谈不上高。知乎

  2. 样本和实验面有限,重复实验集中在编程领域,换个任务还灵不灵,论文自己没打包票。36氪

  3. SIM的前提是迁移前后壳的接口兼容,要是整个工具都换了,经验照样归零。

这跟你有什么关系?

这系列论文指向一个趋势:AI智能体的竞争,正在从"炼模型"滑向"搞工程"。同一个模型,别人手里好用,差的就是那层壳。下次挑agent工具,别只问"用的哪个模型",多问一句"它干完活怎么验收"。知乎

而习惯对AI说"你下次一定要记得……"的朋友,谷歌这份研究顺便劝一句:别念了,那是咒语,不是约束。

评论

评论区空态插画

当前文章无评论,是时候发表评论了