9个AI造桥结果出炉,能直接当模型能力排名吗?主办方自己说了“不能”

源自24位全网作者

08:26

九个AI造桥的结果能直接当排名吗?主办方的开源正式赛文档其实已经写了答案:工具和接入渠道不同,不能把本场结果当作模型能力排名。GitHub

11月8日晚,B站UP主“喵了个猫了个咪了个猫”发布了这期视频,把9个大模型拉去玩了局“贪官造桥”——到11月10日晚,这期约110分钟的视频播放量已过百万。 成绩榜上,GPT-6.2 Sol以102.67分第一,Claude Opus 5.5(79.02)和GPT-6 Astra(73.48)分列二三,DeepSeek V4.1 Flash以27.93分垫底。 相关话题同步冲上B站热搜,二创视频里有人笑它“塌得很有节目效果”,也有人当真去算AI造的桥为什么一压就塌。哔哩哔哩GitHub哔哩哔哩

规则先说清:先过河,再比省钱

9个模型各自在90分钟里设计桥梁,开局一次性拿到全部7关:第1~6关造桥让规定车辆按时、完好过河,过关以后比造价;第7关每人交一座决赛桥加一辆“捣蛋车”,所有人的桥和别人的捣蛋车两两攻防。 桥是二维杆件结构,路面、木杆、钢杆、钢索、弹簧、液压杆六种材料按米计价,每关有预算,也有一份主办方事先做好的参考答案;关卡分只算过关的人,等于100×参考答案造价÷你的造价,和参考答案一样便宜得100分,更便宜可以超过100。GitHubmeowllm官网

榜单的断层,是被三道硬关卡“卡”出来的

逐关成绩比总分榜更能说明问题:第1~3关几乎所有模型都能过,第4~6关只有前三名过了关,第5关“钱不够”(没有便宜木杆可用)全场只有GPT-6.2 Sol一人通过,他还在第2关把造价压到了参考答案以下。 反过来看,第5名Grok(35.62)到第9名DeepSeek(27.93)之间总差距不到8分,而这点差距大半来自硬关卡上的0分:没过、没交或超预算。攻防盘同理,除第4名Gemini攻破3座桥外,第5~9名选手的捣蛋车没拆掉任何一座桥。这份榜单的头尾差,更接近“有没有通过高难度关卡”的通过性记录,而不是线性铺开的能力差距。GitHub

为什么它不能直接抄成能力排名

最直接的障碍是工具不统一:九位选手各自用自家官方agent工具应战——Codex、Claude Code、Kimi Code、Grok Build、OpenCode、dsh——主办方特意标注,不同工具的同名档位不能直接等同,max、xhigh、high之间没有可比性。 报名字也不是同档比较:DeepSeek派出的V4.1 Flash是主打快与便宜的档位,对面坐着的是别家旗舰型号;谁家哪条产品线入场取决于主办方选题,结论推不回“模型家族”层面。GitHub

更根本的是任务本身很窄。模型交出的是节点坐标和杆件组成的JSON文本,真正逐根算受力的是裁判引擎。B站UP主“千云sm”为了让这期结论落地,自己写了桁架受力求解:随机搭一千座桥,729座连受力都算不出来、直接是机构;活下来的271座里,最省料的一座比标准桁架还省19%——桥塌不塌,先看形状,再看粗细。 所以这份榜单考的是“在允许无限试车的确定性沙盒里反复调形状、压成本、迭代优化”的agentic工程能力,它不考对话、写作、通用推理,更不是真实造桥——地质、规范、施工工艺都不在题面里。再加上一场只交一次卷、没有重复采样,后排几名之间的微小分差,本来就在单次采样的正常波动范围内。哔哩哔哩

这份榜单真正的增量,是“可复核”三个字

题目、引擎源码、选手包和九份最终设计全部开源,跑一遍官方评分脚本,可以把六关的54份设计和第7关72局从头重算、逐项与比赛结果核对,最后打印“核对通过”。 网页版里的模拟器用的就是比赛引擎,结果和正式赛逐帧一致——你也可以自己搭一座试试。GitHubmeowllm官网

相比常见的“看视频定强弱”式横评,这种公开材料、公开裁判、人人可复算的做法本身,可能比名次更有记录价值。榜单读得出的部分也在这里:在“给定物理沙盒里的成本化设计加工具化迭代”这一窄任务上,前三名——GPT-6.2 Sol、Claude Opus 5.5、GPT-6 Astra——的优势是逐帧可验证的。

换一套规则,考的可能就不是同一件事

11月9日,另一位UP主“程序员阿江”给8个模型办了场同题材造桥赛,玩法是盲打:不给看画面、不给操作代码的环境、也不给计算器,只发河面宽度和预算,模型纯靠推算交图纸,压轴关最后只有3家通过。 允许无限试车和一次都不能试,考的显然不是同一个东西——同是“AI造桥”,规则一换,结论的适用面就得重画。哔哩哔哩

所以这份成绩单的正确用法,不是拿去回答“谁家的模型更强”,而是当一个可复现的观察起点:想验证某个模型的工具化迭代与成本优化倾向,可以直接拿公开的关卡和引擎自测;想把它读成通用能力排名,则先问三件事——工具档位是否统一、有没有重复采样、任务技能迁移不迁移得到你要用的地方。这场考试在第一件上没及格,第三件上因人而异,而主办方自己的声明值得钉在榜单旁边:工具、接入渠道和采样都会影响结果,不据此预设模型强弱。GitHub

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章