AI造桥赛6个模型栽在后三关:翻车点和你用AI做长任务很像

源自148位全网作者

09:24

第5关,Claude Opus 5.5 交了一座造价13472的桥,预算是10000。它拿了0分,原因是超预算。 它最后总分第二。同一关,GPT-6 Astra 交了10199,只超199块,也是0分;它总分第三。混元在第6关交了34497,预算20000。三份设计都死在预算这一栏上。GitHub

这是11月7日的一场AI造桥赛。9个模型,90分钟,7关一次性发下来。 前3关9个全过;第4关过3个,第5关只过1个,第6关过3个。六道闯关题的后三关,只有Sol、Opus、Astra拿到过分;另外6个——Gemini、Grok、Kimi、混元、豆包、DeepSeek——全部挂零。AI 算法对抗大赛GitHub

第4关加了船,第5关拿走木杆,第6关把礁石、航道、双向卡车全塞进来。约束是一层层叠上去的。

比赛用的是一份确定性模拟器,本地可以无限次试,没有隐藏关卡。 也就是说,它们不是没拿到反馈,是没把反馈用完。GitHub

这和你用AI做长任务时的翻车现场,几乎是同一套剧本。

最容易被看见的,是预算。规则写得很清楚:过关才有分,超预算直接0分。但到了后半程,设计里只剩“桥要能过”。199块这个数最刺眼:它更像账没记住,而不是桥不会造。放到长任务里,token预算、改动范围、“别动这个接口”,往往不是第一步丢的,是在一次次局部修补里丢的。

然后是工具被拿走,方案没跟着换。第5关叫“钱不够”,木杆被禁用,左岸还多了个旧码头坑。 9个模型里只有Sol过了。 它的设计很素:34根杆,19根路面、1根钢杆、2根弹簧、12根钢索,连传感器都没用。meowllmGitHub

混元在这一关交了19根路面杆,一根支撑都没有,造价5651,两个场景全挂。便宜是真便宜,就是车过不去。你让AI改一个长项目也一样:原来的库不能用了、接口换了、数据源断了,它还在用上一关的模板,代码写得很熟,跑起来就塌。

还有一种更隐蔽的:复杂不等于能过。第4关要过船,Grok交了82根杆、2根液压、8条规则,Kimi装了3根液压,造价分别是24846和24935,结果两个场景都没过。它们不是没想到机关,是想到了、也做出来了,但交上来的设计过不了。很多“完成”也是这样:抽象层搭了三层,测试只跑了happy path。

Grok在第5、6关根本没交卷。 开赛消息里专门写了“不要早早收手”,它还是收了。 模型说“已完成”的时候,后面可能还挂着两个TODO;它不是答错,是没答完。GitHubAI 算法对抗大赛

冠军Sol的总分是102.67。它拿到的选手包和别人一样,六关设计全部通过了公开场景,而且大多比参考答案便宜。第5关它用8620块造了座能过的桥,预算10000,还剩约1380。

第7关打了72局,18局攻破。 6个模型的桥被别人的捣蛋车攻破,其中5个模型的捣蛋车一辆桥也没攻破。它们把注意力放在了自己那座桥上,却没留出余量去接别人的招。GitHub

所以,下次让AI干长活,别只看它前几步跑得顺。等它说“完成了”,先别急着验收:预算有没有花超,改过的条件有没有重读,每一关的测试有没有跑完——以及,它说“完成”的时候,是不是还有两关没交。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章