这两天,两场AI造桥大赛先后放榜。B站「AI算法对抗大赛」第9集里,9个模型在90分钟里闯7关,GPT-6.2 Sol以102.67分夺冠。 另一边,ModelDial的8个模型盲打造桥赛,GPT-6 Astra以98.58分登顶。 更巧的是,几位重叠选手的名次全换了位:Claude Opus 5.5一边第二、一边第三,Gemini 4 Argon一边第四、一边第二,GPT-6 Astra一边第三、一边第一。同样叫“造桥”,两份不同的榜单。GitHubModelDial
所以,能不能直接把名次当成大模型能力排名?办比赛的人自己先说了不行。「AI算法对抗大赛」的赛事文档写得很直白:选手用的工具、接入渠道和思考档位都不同,“不能把本场结果当作模型能力排名”。 同一场比赛的公平性说明还提醒,每个模型只测一次,单次结果有偶然性;第3集的附加实验里,同一个模型只换工具,实力值能差120分以上。 这句话不是客套,而是这类榜单最容易被忽略的前提。GitHubmeow-ai-arena
两场比赛,考的并不是同一种能力。「AI算法对抗大赛」给每个模型同一份选手包、同一套确定性的物理模拟器,可以无限次本地试桥、写辅助脚本,90分钟里自己分配七关;比的是“读规则—写代码—反复试错—压造价”的工程循环。 ModelDial则把画面、代码环境和计算器全部拿走,只给河宽和预算,让模型纯靠脑算交图纸;比的是空间想象和手算,最后两关还占了一半分。 一个是开卷迭代,一个是闭卷心算。GitHub哔哩哔哩
而且,比赛分数不是一条平滑的能力曲线,更像一道道生死线。「AI算法对抗大赛」七关各占七分之一,第4到6关只有三个模型过关,第5关只有Sol过;任何一关没过,那七分之一就直接归零。 ModelDial的Claude前五关一次通过,最后一关25分全没,和前面两名的差距一下拉开。 这不是“谁更聪明”的连续排序,更像“谁先踩到雷”的淘汰赛。meow-ai-arenaB站
分差也不只来自能力。「AI算法对抗大赛」的规则是过关后比造价,造价越低分越高,单关超过参考答案就能拿到100分以上。 但参考答案不是理论最优,超过100只说明比出题人的答案更便宜。Sol在第2关造出7702的桥,只有参考造价10616.73的七成多,这一关拿到137.85分。 这样的分数,更像是“在特定规则下把成本压到多低”,而不是“有多聪明”。GitHubmeow-ai-arena
同一个比赛里,第7关又是另一种游戏:每人交一座桥和一辆“捣蛋车”,72局攻防;Sol的桥8场全守住,Astra的捣蛋车攻破6座。 造桥和拆桥,也不是同一种能力。把七关折成一个总分,本来就是把几种不同的本事塞进一个数字里。GitHub
那这些比赛白看了吗?也不是。它至少说明,在“给规则、给模拟器、允许写脚本”的条件下,GPT-6.2 Sol把七关的成本控制做得最好;在“不给图、不给代码、只给数字”的条件下,GPT-6 Astra的一次通过率最高。它们各自证明了一种很窄的能力:把工程问题拆成可试错的参数、在预算内找到能过的最省方案。这个能力真实存在,也有用。但它不是“通用能力”,更不是“谁替代谁”。
所以,看造桥大赛的正确姿势,大概是把它当成一场有明确规则的比赛:看冠军怎么赢,看谁在哪一关翻车,看不同规则下排名怎么变。下次再看到类似榜单,先问三件事:考的是什么、给了什么工具、跑了几次。这些都比一句“XX模型第一”有意思。至于大模型能力排名,还是等有统一的工具、统一的预算、多次采样和公开题库的评测吧。至少现在,两座桥说明不了谁更聪明,只能说明谁更会在这一局里省钱。