AI造桥赛成绩刷屏:为什么不能当代码能力排名的依据

源自23位全网作者

22:40

不能当代码能力排名的依据。这不是读者的保守解读——比赛方开源文档里白纸黑字写着,不能把本场结果当作模型能力排名。 但成绩表还是在过去二十几个小时里被截成了模型圈最新的"天梯图"。B站UP主"喵了个猫了个咪了个猫"11月8日晚发布的这期《AI算法对抗大赛》第9集,发布不到24小时播放量已超57万、评论2700多条(截至11月9日22时平台数据)。GitHub哔哩哔哩

评论区已经在把成绩折算成能力排名:有人把整个系列九期比赛的冠军逐一数了一遍,整理成"Opus 5.5梦碎九连",还特意标注它在区王争霸"甚至没打过DeepSeek"。 更早的十月,知乎上已经有回答把该系列的成绩直接读成能力信号:七期比赛做下来,Astra大人基本上包揽第一名。哔哩哔哩知乎

九只AI,90分钟,交的不是代码而是一座桥

这场比赛的工程纪律相当苛刻:九个模型在同一台Windows电脑上拿到哈希一致的同一份选手包,限时90分钟,开局一次性领全部7关;可以写任何辅助脚本,但不可以修改模拟器与关卡文件,不可以联网、派子代理、用长时间等待磨时间。GitHub

前6关是闯关:造一座二维杆件桥,让指定车辆按时、完好开到对岸,过了关才开始比造价。关卡分等于参考造价除以你的造价乘以100,和参考答案一样便宜得100分,更便宜可以超过100,没过、没交、超预算都是0。 第7关换成攻防:每人再交一座决赛桥和一辆"捣蛋车",所有人的桥和别人的车两两对打72局,守住和攻破各算一半分。全程交卷物都是桥梁设计的JSON文件,不是软件;物理引擎确定,本地模拟器和正式裁判是同一份程序,桥行不行一跑便知。GitHub

成绩单:前三名断层,第5关只剩一家过关

最终总分榜上,GPT-6.2 Sol以102.67夺冠,六关闯关分平均106.24,决赛桥8局全部守住、自己的捣蛋车还攻破了5局。 Claude Opus 5.5总分79.02、GPT-6 Astra 73.48分列第二第三,第四名Gemini 4 Argon骤降到45.31,第五名往后的Grok 4.7、Kimi K3.1 Pro、腾讯混元Hy4、豆包Seed Evolving、DeepSeek V4.1 Flash挤在27到36分的窄带里。GitHub

断层出现在第4关之后:第4、5、6关只有前三名过了关,预算1万、不许用木杆、岸边还带坑的第5关,全场只有Sol一家过关。GitHub

单项里最耐人寻味的是Astra:总分只排第三,攻防分却是全场最高的87.50,72局里它的捣蛋车撞塌了6座别人的桥;但官方口径同时提醒,攻防这关每对只打一局,桥与桥、车与车之间没有直接比较,这个单项的偶然性不小。GitHubGitHub

从"桥造得好"到"代码写得好",中间隔着四道坎

第一道坎是样本。官方比赛条件文档写得很坦白:每个模型只跑一次,单次结果有偶然性,工具、接入渠道和思考档都会影响结果。 同系列第3集的附加实验还给过量级:同一个模型只换外层工具,实力值能差出120分以上。 九个选手各用各的官方编码工具——Codex桌面版、Claude Code、OpenCode、Kimi Code、dsh等——思考档的"max""xhigh"在不同工具之间也不等价。这张榜测的是"模型+各自工具链"的联合成绩,把名次直接归因给模型本身,中间还少了一层证据。GitHubGitHub

第二道坎是计分悬崖。预算超一点就是零分:Claude Opus 5.5在第5关的造价13472元,只超了预算三千多,该关直接记0,被一关拖垮七关平均。 反过来,分数基准也不是绝对能力线:关卡分以主办方参考答案为100,它不是理论最优,超过100只说明比参考答案便宜。GitHubGitHub

第三道坎:这7关考的根本不是代码,尽管它确实摸到了一部分工程能力的边。评的是桥的造价和结构,交付的是设计参数。不过评论区流传最广的一条夺冠复盘值得看:有观众归纳Sol领先的原因,是它把基础的优化试车直接写成脚本让电脑自动跑,省下的时间用来思考结构层面的突破。 自动化工作流、时间分配、在确定性反馈里迭代——这些是编码agent的真实能力;但代码可读性、复杂需求实现、可维护性,这场一题没考。哔哩哔哩

第四道坎是跨期拼榜。官方README里白纸黑字写明,不同集的分数不能直接比较。 圈地、炸弹人、外交、足球到造桥,每期赛制、工具、评分口径都不同,被疯转的"Opus九连梦碎"恰恰是把九期拼成了一张总榜——用的正是官方明确反对的统计口径。GitHub

这张榜真正稀缺的价值:全程可审计

不能当排名用,不等于没有价值,它的可查程度在同类"AI对决"内容里相当罕见:题目、规则、每位选手的最终设计、逐关造价和72局对打记录全部开源,比赛引擎与裁判同程序,官方文档写明全部成绩可以用脚本重算核对。 观众还能下场:官方网页开着排行榜,上传自己做的桥就能和这些AI按同一把尺比造价。 拿它当"模型+工具链在固定物理规则下的工程交付样本"来读,信息密度很高;读成"代码能力天梯",就是无据外推。GitHub哔哩哔哩

另外提醒一句,最近传播的"AI造桥"不止这一场。9月底另一档节目让Claude Opus 5.5、Kimi K3、Meta Muse Spark 1.3、GPT-6 Astra和Grok 4.7同一道题设计桥梁,真实3D打印组装后逐一承重:Claude的桥预计承受了约59公斤,Meta 26.5磅,Astra 17.5磅,Grok的桥组装后连自行站立都做不到,Kimi的设计则根本无法完成组装。 那场测的是从设计到可制造性的端到端,离代码更远,结论却一模一样。小红书

至于下一场,UP主在置顶评论里说得直白:这周本来想等OpenAI新模型发布,结果没等到,才显得这期偏向娱乐、比较赶工。 与其拿这集造桥比赛的总分给模型排座次,不如等各家按同样的工具和规则再打一轮——那时的成绩对"能力"的参考意义,才会比现在这张被到处转发的榜单大一些。哔哩哔哩

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章