九个AI造桥,DeepSeek垫底:这张榜能判断模型强弱吗

源自131位全网作者

20:35

11 月 8 日晚,B 站上线了一场特殊的比赛:九个 AI 在 90 分钟里造桥。上线不到两天,播放量超过 120 万,评论区很快分成两派:一派喊 Sol 封神,一派说 DeepSeek 垫底。榜单一出,好像谁强谁弱已经有了答案。但把规则和成绩表翻完,你会发现这张榜最先测出来的,不是谁更聪明,而是谁在交卷前还记得再跑一遍检查。

比赛发生在 11 月 7 日(洛杉矶时间)。九个选手在同一台 Windows 电脑上,各自拿到同一份选手包:二维杆件桥梁、六种材料、七个关卡,90 分钟,七关一次性发下来。不能联网,不能派子代理,但本地模拟器和裁判用的是同一份程序,可以无限次试。目标不是造一座结实的桥,而是在全部场景通过的前提下,把造价压到最低。规则里有一句很能说明问题的话:车过去以后桥塌了也算过。 这是一场“最低成本通过”的封闭环境优化赛,不是工程安全竞赛。GitHub

计分方式把这一点放大了。每关的分数 = 100 × 参考答案造价 ÷ 你的造价;没过、没交、超预算,都是 0。 总分是七关的平均,第 7 关是攻防,占七分之一。参考答案不是理论最优,所以分数可以超过 100:Sol 在第 2 关造出 7701.80 的桥,比参考答案的 10616.73 便宜 27%,这一关拿了 137.85 分。榜上的 102.67 不是“正确率”,而是一个以参考答案为 100 的造价指数。GitHub

成绩表最有意思的地方,不是谁第一,而是分界线。第 4~6 关,只有 Sol、Opus、Astra 三位选手有过关记录;第 5 关只有 Sol 一个。 其余六位在这三关全部是 0。于是总榜被切成两段:前三名 102.67、79.02、73.48,第四名开始是 45.31、35.62、32.47、31.45、30.96、27.93。后六名的排序,主要来自前三关的造价和攻防分,而不是最难的几关。评论区把“DeepSeek 垫底”当成结论,但它和豆包、混元、Kimi 只差三到五分,硬关全是 0;这更像同一类失败者按小数位排队。GitHub

再看每个人是怎么丢分的,会发现 0 和 0 不是一回事。Opus 的第 5 关,官方记的失败原因不是“未过”,而是“超预算”:造价 13472,超过 10000 的预算;Astra 更可惜,10199,只超了 199。 Grok 第 5、6 关干脆没交;Gemini 第 4、5、6 关分别 0/2、0/2、0/3,场景一个都没过。有人是预算没算清,有人是时间没排好,有人是结构没做出来。榜单把这三类失败都记成 0,然后按总分排出第 4 到第 9 名。GitHub

这种排名有多不稳,算一笔账就清楚。一关拿 100 分,摊到总分里是 14.29 分。DeepSeek 现在 27.93,只要把任意一关从 0 做到 100,就到 42.22,从第 9 跳到第 5。Astra 的第 5 关只超预算 199;如果它能用 10000 以内的造价过掉这一关,按最低 82.16 分算,总分至少 85.22,会超过 Opus 的 79.02,升到第二。一个 199 的预算差,可能就是一个名次。

但这些都是比赛内部的事。要把这张榜当成“模型能力排名”,还有一道过不去的坎:参赛的不是九个裸模型,而是九个“模型 + 工具”的组合。Sol 用 Codex 桌面版,Opus 用 Claude Code,Astra 用 Codex CLI,Gemini、混元、豆包走 OpenCode,Kimi 用 Kimi Code,Grok 用 Grok Build,DeepSeek 用 dsh。主办方在 README 里写得很直白:每位选手都用所在工具的最高思考档,不同工具的同名档位不能直接等同;工具和接入渠道不同,不能把本场结果当作模型能力排名。 这句话不是客套,是这张榜的解释边界。再加上样本量:每个模型只跑一次。 九个选手的版本也不统一,有 GPT-6.2 Sol,也有 GPT-6 Astra,有 DeepSeek V4.1 Flash,也有豆包 Seed Evolving。它们不是同一款模型的九个副本。GitHubGitHub

紧接着,另一位 UP 主也办了一场“AI 造桥大赛”,八个模型,六道题,规则完全不同:不给看画面、不给操作代码、不给计算器,只发河宽、预算这些条件,让模型纯靠脑子算。 每关还有两次机会。有模型在第 5 关算了 80 分钟交白卷,却又在最后一关手算到小数点后六位过关。同样叫“造桥”,题目和评分规则换一套,考出来的东西就换一套。你很难说哪一张榜才是“真实能力”,因为它们测的根本不是同一件事。哔哩哔哩

所以,回到那个问题:看 AI 造桥比赛,能判断哪个大模型更能干吗?能判断这场比赛的赢家,不能判断“哪个大模型更能干”。如果“能干”指的是在这套规则、这个工具链、这 90 分钟里,把一座桥从规则读到交卷、把预算压到最低、把该跑的检查跑完,那么这张榜是有信息量的:Sol 的表现明显最好,前三名和后六名之间有一条真实的分界线;但这条分界线分不清是模型的能力,还是工具的工程化程度。如果“能干”指的是通用能力、写代码、做研究、处理开放世界的问题,这张榜回答不了;它连“模型”和“工具”都还没分开。

九个 AI 造桥,更值得记住的不是名次,而是那些 0 是怎么来的:有人超预算 199,有人没交卷,有人连场景都没过。下次再看到“某模型垫底”,先别急着判它死刑;先看它是桥没造好,还是忘了看预算表。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章