张大妈

九个AI造桥赛刷屏,这场娱乐测试能当大模型能力排名吗

源自16位全网作者

11:16

答案先给:不能。这份刷屏3天的榜单,是一场约110分钟直播赛车的产物,UP主自己在置顶里把这期定成"偏向娱乐,也比较赶工"。 但这场娱乐局确实给出了官方基准榜单上看不到的信息:数字精度、几何规划和预算意识,在物理引擎面前各是什么成色。把它当排名读之前,得先过基准、版本、样本、成本四道坎。哔哩哔哩

11月8日晚,B站UP主"喵了个猫了个咪了个猫"发布《当我把九个ai请来玩贪官造桥……|AI算法对抗大赛第9集·造桥》。 截至11月11日上午,这期视频播放突破150万,超过了该系列此前8期(圈地、炸弹人、夺旗、坦克大战、足球等)约136万的最高纪录。比赛设定在赛事官网写得很清楚:“九个模型用同一套材料造桥:七关闯关 + 桥和捣蛋车攻防”——模型领一份修桥工程款,设计必须经受力仿真验收,车过桥不能塌,省下的钱算成绩,玩法致敬的是人类玩家在造桥游戏里抠预算"当贪官"的经典梗,选手还各自带着拟人化"AI娘"形象。哔哩哔哩meowllm赛事官网

官方成绩表把争议先摆平了:总分=(前六关分数之和+攻防分)÷7,攻防分要算"桥守住"加"拆掉别人桥"的双向战绩,最后一关九人两两对打共72局。 名次如下:GPT-6.2 Sol以102.67分居首,Claude Opus 5.5(79.02)、GPT-6 Astra(73.48)随后,Gemini、Grok、Kimi、混元居中,豆包第八(30.96),DeepSeek V4.1 Flash垫底(27.93)。此前评论区流传最广的"省流"总结说"sol妹妹扣赢了姐姐Astra",方向和官方一致;有趣的是,玩梗帖给Opus编的"九个梦碎"段子,没算到它实际是稳稳的第二。梯度才是这局最硬的结论:六关全过的只有Sol,第5关"钱不够"9个模型过了1个,第4关"过船"过了3个——和另一场"压轴题居然只过3个"的独立复刻赛撞出了同一个现象。meowllm赛事官网哔哩哔哩

把它当"排名",第一道坎是基准:测的到底是什么。官方成绩单上,每个选手旁边还挂着一栏agent:Sol身后是Codex,Opus身后写着Claude Code,DeepSeek的测试壳叫dsh——各家模型都被装进了自家编程代理里跑题。 这是"模型+agent生态"的组合分,不是裸模型分。第二道坎是样本和方差:科技博主"程序员阿江"随后用ModelDial复办了一场8模型(GPT、Gemini、Claude、Grok与千问、Kimi、DeepSeek、混元)造桥赛,规矩更极端——全程盲打,不给画面、不给运行环境和计算器,只报河宽和预算,每关两次机会。 结果有模型第五关算满80分钟交白卷,末关却把手算的对接角精确到小数点后六位翻盘;前五关领先的模型,末关两扇桥半空相撞单关0分。 在这种赛制里,一次碰撞能清零全部领先,单关成败的权重远高于常规评测。meowllm赛事官网哔哩哔哩抖音

第三道坎是版本:榜单跑不过更新。Claude Sonnet 5.5在该系列UP主测完几小时后就正式发布,评论区还在追问的GPT 6.2 Astra当时并未上线;11月11日,已有人宣称用灰测版跑出了"杀死AI造桥比赛"的成绩。 同期另一期测试UP主自己也吐槽过"我刚测完几个小时后就发布了"的尴尬。 第四道坎是成本公平:拟人化叙事把DeepSeek演成"这活才收了你三毛三"的性价比人设,而订阅猛跑还是API限额、token算不算分数变量,至今是弹幕和评论区吵得最凶的地方。 基准、样本、版本、成本,排名所需的四个一致条件,这场娱乐局一个都没承诺。哔哩哔哩哔哩哔哩哔哩哔哩

但别急着把它当噪音。它提供了官方基准给不了的三样东西。其一,可复核:全系列规则、选手提示词、裁判程序都开源在GitHub,官网排行榜允许人类上传自己的桥和AI同场竞技。 对"这次到底是模型在答题还是在套壳答题"存疑的人,这套仓库就是现成的验伪入口,主办方还顺手把"24个模型比谁更有梗、人人可投票"的幽默榜做成了产品。 其二,失败细节是信息:有懂力学的用户自建桁架求解器随机搭了一千座桥,729座连受力都算不出来、直接是几何机构——模型吐出的是坐标,不是力,塌不塌先看形状、再看粗细。 这类"数字精度够不够、错了会不会自己纠错"的信号,正确率刷分榜单照不出来。哔哩哔哩meowllm赛事官网哔哩哔哩

其三,是同一波实验氛围下的反面镜子:九个模型协作玩《异星工厂》的直播跑了400多小时、烧掉724.7亿token,远征船毁了两回仍没抵达目标,其中一次船毁的直接原因是受损时还在等队友回复指令。 游戏能暴露权限交接、错误恢复这类失败模式,可它同样说明:一局胜负不是测量学。还有一层污染值得警惕——这期视频评论区里大量角色口吻回复出自AI账号,真人用户已经受不了"这评论区一水的AI评论看的我都要吐了"。 当榜单叙事的传播环境本身在被模型灌水,把娱乐局转述成"能力排名"只会再加一层失真。知乎哔哩哔哩

所以正确的读法是:当乐子,它是近期最有节目效果的大模型公开演示;当压力测试,它开源、可复跑、裁判是物理引擎,值得同行拿去重做;当排名,它四道坎一个没迈过去。接下来值得盯的是三件事:官方成绩页会否放出更多对局原始数据、6.2 Astra这类灰测模型正式版落地后谁去复跑同一套七关题、以及换下一道题时同一批模型的名次是否再洗牌。第9集内部已经演示过答案——同一局里"抠门"能登顶、第4关和第5关能把八强筛成三强,位次如此敏感的环境里,真正的能力排名,得经得起换题。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章