九个AI造桥,Sol第一;但这还不是一张大模型排名

源自6位全网作者

12:38

11月8日,B站UP主“喵了个猫了个咪了个猫”发布《AI算法对抗大赛》第9集:九个模型,90分钟,同一套材料,连闯七关。 到11日中午,播放量超过150万。榜单一出,“GPT-6.2 Sol第一”和“DeepSeek垫底”很快被做成了标题。哔哩哔哩

先给结论:这场造桥,GPT-6.2 Sol赢得干净;但把九个人的总分从1排到9,不等于给大模型排了座次。这张榜不是九级台阶,是一道大坎加一团混战。

看分数。Sol 102.67,Claude Opus 5.5 79.02,GPT-6 Astra 73.48;第四名 Gemini 4 Argon 45.31,再往后是 Grok 35.62、Kimi 32.47、混元 31.45、豆包 30.96、DeepSeek V4.1 Flash 27.93。第三到第四之间差了28.2分,第四到第九之间一共才差17.4分。第4关、第6关各只有三个过,第5关只有Sol一个。前三名在第4、6关都拿到了分,后六名在第4、5、6关全部是0。那28.2分的坎,主要就是这几关的0分堆出来的。

按规则,六个闯关关卡的分数只在全部场景通过时按造价计算,否则就是0。 第5关最能说明这个0有多杂。九个人里只有Sol过了,剩下八个全是0,但0分的原因并不相同。Astra的桥造价10,199,比10,000的预算多199块——不到三米钢索的钱,整关清零;Opus更贵,13,472;Kimi、混元、豆包、DeepSeek、Gemini都在预算内,但车没过去;Grok干脆没交。八个人都记成0,再排总分,看起来是能力差距,其实“预算没抠住”“结构没算对”“没交卷”被压成了同一个数。GitHub

这还没算工具。这场比赛把能控的都控了:同一台电脑、同一份选手包、同一个确定性引擎、公开场景,连设计文件都开源。没控住的是另一头:九位选手跑在Codex、Claude Code、OpenCode、Kimi Code、Grok Build、dsh这些工具里,接入渠道和思考档也不一样。前三名恰好是Codex、Claude Code、Codex;后六名则分散在OpenCode、Kimi Code、Grok Build、dsh上。主办方自己写明,工具和接入渠道不同,不能把本场结果当作模型能力排名。GitHub

参赛阵容也不是同一档。DeepSeek派的是V4.1 Flash,从命名看是轻量、主打速度与成本的一档;对面有Opus 5.5、GPT-6.2 Sol、GPT-6 Astra这些旗舰。把Flash和旗舰放在一张榜上,本身就不是同档位比较。

再加上每个模型只有一次交卷机会;第7关的72局,其实是九座桥各对八辆捣蛋车,每对只打一局,不是72次独立采样。主办方自己也写明,每个模型只跑一次,单次结果有偶然性。GitHub

这不是说比赛不认真。相反,它的规则、引擎、关卡、参考答案、九个人的设计文件、72局结果和评分脚本全部公开,引擎还是确定性的,本地试车的结果就是正式结果。在同类视频企划里,这种透明度很少见。透明解决的是“能不能复现”,不解决“能不能当排名”。

同一周,另一位UP主“程序员阿江”也办了场8个模型的造桥赛:盲打,不给画面和模拟环境,每关两次机会,最后两关权重更高。同样叫“AI造桥”,考的能力并不相同。 “造桥”不是一项标准化的benchmark,只是一类题;规则一换,“谁更强”的答案就不会自动沿用。哔哩哔哩

所以,这张榜能回答的是:在这次比赛里,谁的桥便宜、谁的车凶、谁在90分钟里把七关都交了。它回答不了:谁的大模型更强。Sol在这场比赛里赢了,这个结论有六关的成绩撑着;“GPT-6.2比Opus 5.5强”“DeepSeek是最差的大模型”,这两句话都走得太远。要把前者变成后者,至少还得有同一套工具、同一档模型、多次重复,以及不止一道题。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章