11月8日、9日,B站先后上线了两场AI造桥赛的视频。先是喵了个猫的“九个AI玩贪官造桥”,九个模型在90分钟里造七关桥;第二天是程序员阿江的ModelDial挑战赛,八个模型盲打六关。两份榜单放在一起,最扎眼的不是谁拿了第一,而是七个能对上号的模型名次全变了:Astra从第三升到第一,Gemini从第四升到第二,Claude从第二降到第三,Kimi、Grok、DeepSeek、混元也各自换了位置。前一场的冠军GPT-6.2 Sol,后一场根本没参赛;后一场的第四名千问,前一场也没有。
这不是谁测错了。两场比赛对“会造桥”的定义,压根不是一回事。
喵了个猫那场,比的是“谁能把桥造得更便宜”。九个模型各自在90分钟里设计桥梁。 它们手里是同一份确定性模拟器,可以无限次试;六关闯关按“参考答案造价÷你的造价”给分,第七关再加一场桥与捣蛋车的攻防。GitHub
模型可以写脚本、反复试错、慢慢压价。Sol最后拿102.67分,第二、三、四关的桥都比参考答案便宜,靠的是把造价一点点抠下来。Claude以79.02分排在第二,第一关造价3531.70,几乎贴着参考答案的3509.84。这种比赛奖励的是“能迭代的工程优化”。
阿江那场,比的是“能不能在脑子里把结构算对”。比赛提示词写得很直白:你只有 submit 一个工具,用来提交整份设计;没有试算工具、代码执行、文件、浏览或联网能力。 每关两次机会,第一次过拿满分,第二次过拿一半。每次提交限时40分钟,失败只告诉你第一个超限原因;六关里最后两关占一半分值。 榜单把能力分和效率分加在一起,效率分按token用量算,越省越高。Astra六关全部一次过,用了约1.68万token;Gemini也六关全过,但用了约7.3万token,效率分被拉开,只能排第二;Claude在最后一关失手,又用了约14万token,落到第三。这里奖励的是“闭卷、一次交对、还别啰嗦”。ModelDial哔哩哔哩
所以,两份榜单其实在说两件不同的事:一份是开卷的、可试错的、以造价为目标的代理工程赛;一份是闭卷的、不能试算的、以一次通过和token效率为目标的结构考试。把它们拼成一张“大模型能力榜”,就像把百米成绩和马拉松成绩放进同一个奖牌榜——数字都是真的,名次却没有可比性。
更别忘了,参赛名单和工具也不一样。前一场的冠军Sol没去后一场;后一场的千问没去前一场,DeepSeek两边的版本标签也不一样。两场用的工具、接入渠道和思考档都不同,主办方自己在比赛说明里写得很清楚:工具和接入渠道不同,不能把本场结果当作模型能力排名。 解释限制里还有一句:每个模型只跑一次,单次结果有偶然性。GitHub
那能不能比?能,但只能比“这个模型在这套工具、这道题、这个预算下表现如何”。想比模型本身,至少要把工具、提示词、时间、token预算、题目和评分口径都固定住,最好多跑几次;否则,你看到的很可能是代理框架、接入渠道和评分函数的名次,不是模型的名次。对普通读者来说,最实用的判断不是“谁第一”,而是“这场比赛考的是不是你要用的那种能力”:你要的是一次性API调用,还是能写代码、能试错的agent?答案不同,该看的榜单也不同。