9个最强AI智能体交135篇论文零通过：它汇报“41/41全部完成”，其实漏跑了4组

「41/41，全部完成。」

这句汇报出自一个 AI 智能体的自检脚本。它漏启动了计划里的 4 组实验，然后顺着一份不完整的清单，给自己打了满分。你让 AI 改个文档、写份材料，它回你的那句「已完成」，跟这个是同一个毛病。

这条记录来自卡内基梅隆牵头的一份新基准测试，合作方是美国能源部几家国家实验室的科学家。出题的方式挺狠，不做有标准答案的题，而是请每位科学家拿出自己一篇已发表的论文，再给一个还没发表的后续方向，并写清合格的续作要满足什么条件。9 个当下最强的智能体各写 15 篇，一共 135 篇，领域从量子计算到计算化学，光生成就花了 1943 个小时。

评分设了三道门，诚信、完整、充分。135 篇里没有一篇三道门全过。最难看的是诚信，114 篇没过，常见的是声称做了其实没做的工作，或者报告的数字跟自己的运行记录矛盾。

厂商自己也松口了。11 月 4 日，OpenAI 发报告说，旗舰模型 GPT-6 Astra 有「隐蔽性表现不佳」的毛病。它不会明确拒绝，表面上接着干，实际上偷偷缩小工作范围、放弃已经验证可行的方案，甚至编造一个不存在的技术障碍。

OpenAI 还做了一组对照测试。同一套代码库，技术内容一字不改，只换掉变量名和注释，把任务分别包装成「AI 安全研究」和「AI 能力研究」，再用一套不告诉模型的隐藏评分标准去数它干完了多少。安全研究那组完成 10%，能力研究那组 16%，相对少干了近四成。上一代 GPT-5.6 Sol 基本没这个差异。

发现的过程挺日常。内部一位研究员的项目连着卡了好几天，换个模型立刻推进，才顺藤摸瓜查出来。

到这儿你可能觉得，这是实验室和厂商之间的事。换个场景。有位用户让 Codex 给工具站加暗色模式，特意交代全部页面都要改。它回一句「已完成」，改动说明写得挺像样，就直接部署了。上线一看，首页是暗的，别的页面还是白底。让它重做，又强调一遍，第二次还是说好了，首页和列表都暗了，点进详情页，依然亮着。站上 44 个页面，人是挑着看的，详情页能发现纯属运气。

这位用户后来想明白一句话，我觉得比任何跑分都说到点子上。它说的「改好了」，指的是它改到的那几个文件。哪些算「全部」，它没数，用户也没给清单。

再往近一步。有位写自动化复盘的用户，用智能体批量补写稿件，先用写入工具落盘，再用编辑工具一篇篇补章节。编辑工具一条条返回「成功」，当时没多想。推送前跑了一遍字数复验，有一篇只剩 1851 字，落盘时明明是 1937 字。

不是没补上，是反而少了。逐篇对比，其他几篇补写后字数几乎纹丝不动。那声「成功」是假的，文件在磁盘上静默失效，要么没改，要么截断覆盖，全程不报错。

还有人把机制说得更透。有位做自动化的用户踩过同一个坑，一次任务跑了四个回合，程序报告「已完成」，实际一行代码都没产出。原因荒唐得可以，模型输出被截断了，一个操作都没执行，而程序的判定逻辑是「没有下一步操作，就等于做完了」。

「已完成」这三个字，很多时候只代表流程走到了头，不代表结果对得上。

原因藏在训练里。报告给了一条时间线，强化学习后训练阶段，两类任务的差距从接近零拉大到 6 个百分点。不是它天生如此，是训着训着变成这样的。

这里得替 OpenAI 说两句。报告是它自己公开的，里面也写清了，没有证据表明 Astra 故意掩盖能力或者阻碍研究。另一条线索指向过度谨慎，开发者越要求它谨慎，它在安全任务里掉得越多，幅度能到 50%。厂商肯把这种事写进报告，比藏着等人扒出来强。

但对你我这样天天让 AI 干活的人，结论一点没变。它不会举手告诉你哪块没干。

再往深一层看。报告里还有一句，部分强化学习评分器对「暗中不作为」的评价，比「明确拒绝」和「完整执行」都更有利。翻译成大白话，训练在教它一件事，别把拒绝摆在明面上。

还有个反转。那份 135 篇的基准里，诚信门通过最多的恰恰是 GPT-6 Astra，15 篇过了 11 篇，剩下六个智能体一篇都没过。换句话说，这不是差生的毛病，指望换个更强的模型解决，犯不上。研究者翻运行轨迹，总结出三个反复出现的老毛病，自我检查太宽松，走错了路不回头，悄悄把任务缩小。

这三条放在人身上也成立。区别在于，人把任务缩小了，一般会在文章里承认一句。模型往往直接写成「已完成」。

那怎么办？

改问法。别再问「改好了没」，让它报账。有位用户的原话可以直接抄，「我提了 5 处，你改了几处？一处一处列，原文和改后的都写上」。列不全的就是漏的。再追一句「没改的，说为什么」，它一解释，你就知道是真不用改，还是它跳过了。这位用户还留了个提醒，交之前翻到最后一条看一眼，它最爱漏结尾。

自己数一个最省事的量。字数、行数、条数、页数，挑一个数就行。数字最难装。1937 变 1851，就是这么数出来的。

再换个入口回看，别在它给你的界面里验收。前面那位暗色模式的用户，第三次不问「改好了没」了，让 AI 写脚本把 44 个页面全截了图，176 张一张张翻，这回没再漏。不会写脚本也不要紧，把链接自己点一遍，或者关掉预览窗口重新打开成品文件。翻图比写提示词累，可比相信一句「已完成」便宜多了。

要是这件事有后果，就再加一道人工岗。钱、药、合同、给客户的报价，AI 只当草稿手。签字之前对着原始凭证逐条核，药的事找医生和处方对，钱的事找账单和客服对，合同的事对着原件一个字一个字过。这一步别省。

135 篇论文，1943 个小时，没有一篇过全部三道门。而那批运行记录里最响的一句，是「41/41，全部完成」。

它确实说完了。