11月8日晚,B站UP主"喵了个猫了个咪了个猫"的开源赛事系列"AI算法对抗大赛"第9集《造桥大赛》上线:9个模型各自在90分钟里设计桥梁,开局一次性拿到全部关卡,由确定性物理引擎逐关打分,上线两天播放量破百万。紧接着第二天晚上,UP主"程序员阿江"的ModelDial挑战赛也办了8个模型、6道关卡的造桥盲打比赛,闯关回放和成绩单同步公开在ModelDial网站上。两张榜单的截图被大量转发,"谁是大模型第一名"的说法随之出现。先说结论:造桥赛量的是"这道题、这套规则、这一次发挥"下的工程表现,不能直接换算成大模型排名。这不是观众抬杠,是主办方写进比赛材料的原话。GitHub哔哩哔哩GitHub
这份成绩单确实量到了真东西
比赛环境做得相当严格。每位选手一个独立工作目录,里面是同一份选手包,文件哈希相同,开赛消息只换目录名;不可以联网、不可以派子代理、不可以修改模拟器和关卡文件,但可以写辅助脚本、无限次试车——选手手上的本地模拟器和裁判是同一份程序,正式评分用的就是公开场景,没有隐藏关卡。GitHub
榜单把分层拉开了。GPT-6.2 Sol总分102.67,是唯一攻防、闯关两项都接近满位的选手;Claude Opus 5.5以79.02、GPT-6 Astra以73.48列第二、第三。GitHub
更能说明问题的是逐关分布:第4~6关只有Sol、Opus、Astra三家过了关,第5关"钱不够"场景里只有Sol做出来;Gemini、Kimi、混元、豆包、DeepSeek在后三关全部未过,Grok干脆第5、6关交了白卷,而Opus和Astra在第5关都因超预算吃了0分。这类信号是真的:空间受力判断、预算控制、长时间自主干活,模型之间确实有断层。但注意,它只对这一类题成立。GitHub
当排名之前,先看清五道限制
第一道,比赛只跑了一次。主办方的"解释限制"写得直白:每个模型只跑一次,单次结果有偶然性,工具、接入渠道和思考档都会影响结果。一次发挥里夹着采样和解题路径的波动,名次不能代表期望水平。GitHub
第二道,"考场"不统一。九名选手分布在Codex桌面版、Codex CLI、Claude Code、OpenCode、Grok Build、Kimi Code、dsh等工具里,接入渠道有Google Vertex AI、Moonshot官方、OpenRouter、火山方舟等,部分选手的接入配置连赛事文档都没记录。“max”“xhigh”"high"是各家自己的定义,互相之间画不了等号。GitHub
第三道,榜是计分规则的产物。关卡分以主办方参考答案为100基准,比参考答案便宜可以超过100,没过、没交、超预算都是0,七关同权让任何一关的0分都会拖垮总分;第7关每对只打一局,桥与桥、捣蛋车之间没有直接比较。最典型的例子是Astra:它的攻防分87.5是全场最高,总分却只排第三。GitHubGitHub
第四道,同一个系列内部排名就不迁移。这个系列办了九集,冠军一直在换:圈地是Sonnet 5.5,炸弹人、坦克大战、足球是GPT-6 Astra,外交是Fable 5.1,光轮对战是Mistral Large 4,屎山代码优化是阶跃Step 5 preview和混元Hy4 preview并列,到造桥才轮到GPT-6.2 Sol登顶。九集九个(批)冠军,恰恰说明任何单场比赛都推不出"综合最强"。GitHub
第五道,换一个比赛就换一套结果。ModelDial那场8个模型的规则完全不同:全程盲打,不给画面、不给代码运行环境、也不给计算器,只发河宽和预算,每关两次机会,第二次过关只拿一半分。分值结构也一改到底:最后两关权重最高,约占全场一半。前五关一路稳过的模型在压轴题因为桥顶钢架架得太高、两扇桥半空相撞吃了0分;也有模型第5关整整80分钟没算出来交白卷,最后一关却靠手算到小数点后六位过关。千问以匿名"鸭子模型"身份成为第5关唯一过关的国产模型,夺冠者场外的调用账单约21美金。条件一换名次就换,两张榜单拼不成一个全局座次。哔哩哔哩
还有一点容易被忽略:造桥只考空间结构推理、预算控制和工具执行这一角,语言、知识、通用推理、编程广度都不在这张卷子上。单一科目的榜,只能支撑单一科目的结论。
这类比赛正确的打开方式
读榜别记谁第一,看跨关一致性:能全过关和频繁0分的分层,在这类长程任务上是真信号;某模型27.93的总分只说明这类静态结构题它没做好,不代表它写代码、做分析也不行。
更值得肯定的是评测形态。题目、裁判、每个模型交上来的原样代码、逐局结果、评分脚本全部开源,一条命令即可重算核对全部成绩,网站上人人可以交自己设计的桥进排行榜。和不少不透明的黑箱榜单相比,这种可审计的窄赛道结论,对具体场景的可信度高得多。GitHub
在选coding工具或agent订阅的人,可以把这类90分钟自主任务实测当"能不能扛长任务"的参考,再对照ModelDial公开的订阅套餐token额度对比和模型真假指纹验证功能,看自家渠道的模型有没有被掺假。哔哩哔哩
证据边界要划清楚:这类比赛能回答的,只有"这一题、这套规则、这一次,谁干得漂亮"。距离"大模型排名",还差着重复实验、统一环境、多任务覆盖三道工序。