9个AI造桥赛翻车点,为什么像你日常用Agent的坑

源自200位全网作者

15:17

9个当下前沿的大模型被同时关进同一个二维造桥模拟器:全部7关开局一次性发放,90分钟倒计时,到点以文件快照收卷。这是B站“AI算法对抗大赛”系列的第9集,这一次不是各写bot下场互打,而是9个模型亲自当结构工程师造桥。关卡规则、成绩表、设计文件和精选回放全部公开挂在赛事页面和 GitHub 上,任何人都能重算核对。GitHubGitHub

结果很残酷:第4~6关只有GPT-6.2 Sol、Claude Opus 5.5、GPT-6 Astra三个模型过关,第5关只有Sol一个过了,它最终102.67分排第一,第9名的DeepSeek V4.1 Flash只有27.93分。视频11月8日晚发布,一天出头播放量逼近百万。但对日常用Agent的人来说,真正的信息不在冠军身上,而在失败者的细节里:超预算199块清零、照抄旧方案超支35%、交了合法设计却一个公开场景都没跑通、最后两关干脆没交卷、5名选手进攻端零攻破。这些翻车点和用户日常把活交给Agent时踩的坑,几乎是一一对应的。GitHub

这场赛,本身就是一次典型的Agent工作日

选手不是裸模型答题,而是各自带着所在公司的coding工具上场:Sol用Codex桌面版、Opus用Claude Code、Astra用Codex CLI、Kimi用Kimi Code,Gemini、混元、豆包都走OpenCode——读文档、写辅助脚本、跑模拟、交文件,和你把一个工单丢给coding agent是同一套流程。赛制把一切借口都拆掉了:选手手上的本地模拟器和裁判用的是同一份程序,可以无限次试,正式评分就用发给选手的公开场景,没有隐藏场景。计分同样不含糊:过关才有分,和参考答案一样便宜得100,更便宜就超过100,没过、没交、超预算都是0。开赛提示词里还专门强调,只做到“能过”远远不够——同样过关,造价越低,分数越高。GitHubGitHub

翻车点一到三:预算红线上的199块、35%和72%

第5关叫“钱不够”:24米的河外加左岸旧码头坑,预算砍到10000,而且这一关没有木杆,木料用完了。翻车点一:Astra交出一座造价10199的桥,超预算199块。只超2%,但按计分公式,这和桥塌了完全等价——0分,它最终止步第3名。日常对应:Agent说“改好了”,你没跑最后一遍验收。CI、账单和验收环境不认识“差一点”,超2%和全崩拿的是同一个分数。GitHub

翻车点二:Opus在同一关交了13472的桥,超预算34.7%。它前三关拿了99.38、114.93、101.99,始终咬在第一梯队,栽的恰恰是材料表变了的那一关。日常对应:新任务长得像旧任务,Agent照抄上一次的方案,需求的变化只写在“没有木杆”这一行里。GitHub

翻车点三:混元是另一种死法。第2、3关它靠高价桥勉强过关,只拿49和48分,第4关起直接未过,到第6关交出一座34497的桥,超预算72%——越错越造、越造越大,最后连此前一直守得住的预算红线也破了。日常对应:Agent的改坏—再改循环里,补丁和依赖越堆越厚,功能还没通,昨天还守得住的红线今天先破了。GitHub

翻车点四到六:自检和交卷——交了不等于跑过,做了半套等于没做

翻车点四:Gemini在第4、5、6关交的都是合法设计——造价全在预算内,公开场景却一个都没跑通(0/2、0/2、0/3)。引擎确定、试车无限、本地模拟器和裁判又是同一份程序,唯一解释是它压根没把交的版本完整跑一遍。日常对应:Agent汇报的“本地验证通过”,经常只是它自选的两个用例过了,“能演示”和“能验收”差着一整套场景。GitHub

翻车点五:Grok是唯一两关“未交”的选手,第5、6关直接空白。它把时间花在前三关的打磨上,第2关造价15450比参考贵近五成,最后两关连文件都没来得及生成。日常对应:没有工时规划的Agent会在前几步烧掉大部分预算,到点快照收走时,做到一半就是零。而开赛提示词写得明明白白:交卷以截止时刻的文件内容为准。早存盘、分阶段交付,是选手和用Agent的人共同的保命习惯。GitHubGitHub

翻车点七到八:能过但太贵,和第一次出现的动态需求

翻车点六是整组的隐形失血:Kimi第1关造价6065,比参考的3510贵了约73%,只拿57.87分。成绩表里还有个更微妙的细节:豆包和DeepSeek第2关的造价数字一模一样,都是20128,比参考贵近一倍,各自只拿52.75分。日常对应:Agent写的代码“能跑”不等于“值得跑”——重复逻辑、堆砌依赖,功能正确性背后是成本灾难,维护费、账单和迭代速度都在悄悄结账。GitHub

翻车点七出在第4关:河道中间有航道,船过时航道里不能有桥,这是场上第一次出现需要机关——压力板、光电门、船笛这些传感器加延时规则和红绿灯——才能解的需求。在这关折掉的六款模型,第1到3关的静态桥全都过了——“状态和时间约束”一出现,旧经验直接归零,只有真动过机关的三款接着往前走。日常对应:固定流程的demo跑得丝滑,真实需求里多一个超时、并发或权限时效,同一个Agent立刻翻车。越是依赖经验复用的用法,越容易死在第一次需求变化上。GitHub

翻车点八藏在第7关攻防里:每人交一座静态决赛桥,再交一辆造价不超过6000、长不超过3米的捣蛋车,去撞别人的桥。72局里18局被攻破,都没有出现物理异常——每一局都打在结构的真实薄弱点上。但攻击端断崖分明:Astra的捣蛋车攻破了8座桥里的6座,防守全守住的Sol也只攻破5座,第5名到第9名的五位选手全部零攻破。会造自己桥的模型,想不出撞别人桥的招。日常对应:让Agent同时写代码和测试,测试只会防着自家代码走过的路径;对抗视角必须来自另一个角色、另一个Agent或另一家模型。GitHub

翻车点九:冠军身上也有一个

Sol是9人里唯一把7关全部做出来并过关的,但它第1关造价3562,仍比参考答案的3510贵了一点,关卡分98.54;防守8局全守住,攻击端也只有5/8。最好的Agent也拿不到“交卷即满分”,第1名和其他人的差距不在灵感,在流程零失误。评论区有观众复盘,说它和其他选手的分水岭是“把普通的优化试车直接写成了脚本,让电脑自己跑”,剩下的时间才去想结构上的突破。日常启示:把验收、试车、压成本这些步骤自动化,把模型的注意力留给只有它能干的环节——用Agent,要把它当工程师,不是当神仙。GitHub哔哩哔哩

主办方把边界写得很明白:每个模型只测一次,工具、接入渠道和思考档都会影响成绩,本场结果不能当作模型能力排名。但翻车点不需要排名也成立:199块、13472、34497、两关白卷、攻击端的五个零,全部写在裁判程序里,54份设计文件随便谁都能重算核对。日常用Agent的最大收益,很少来自换更强的模型,而是来自把这场比赛用红笔圈出来的五个闸口装进流程:超预算和没交卷一样是0分,所以硬约束要有最后验收;材料表会变,所以动手前重读新限制;公开场景要全跑完,所以“本地过了”不算过;快照收卷,所以要规划工时、提前存档;撞桥的招Builder想不到,所以对抗测试交给第二个视角。比赛里的桥塌了只扣一个关卡分,你日常那座桥塌了,扣的是返工、账单和线上事故——它们翻车的位置,从来都是一模一样的。GitHubGitHub

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章