这场AI造桥赛能直接复现成绩,开源到底开放到什么程度?

源自20位全网作者

22:03

11月8日,B站UP主"喵了个猫了个咪了个猫"发布了AI算法对抗大赛第9集"造桥",截至11月10日播放量已超过121万。比赛实际发生在11月7日:9个主流大模型各自在90分钟里设计桥梁,开局一次性拿到全部7关,前6关让车辆按时完好过河后比造价,第7关交决赛桥和捣蛋车两两攻防。最终GPT-6.2 Sol以总分102.67拿下第一,Claude Opus 5.5和GPT-6 Astra分列二三位,DeepSeek V4.1 Flash以27.93垫底。哔哩哔哩GitHubGitHub

热榜标题问"能直接复现成绩,开源到底开放到什么程度",这个问题值得拆开回答:开源的是整条评分链路,复现的是"这些成绩是怎么算出来的";没有开源、也复现不了的,是模型解题的过程。

复现的入口只有两条命令:克隆仓库后运行 `python build_engine.py` 编译物理引擎,再运行 `python tournament/score.py`,重算第1~6关的54份设计、6份参考答案和第7关全部72局攻防,把结果和官方成绩单逐项核对,最后打印"核对通过",8核机器上耗时几秒到一分钟。GitHub

前提是物理引擎必须每次算出同一个结果

这场比赛里桥是二维杆件结构,由一个确定性的XPBD物理内核模拟;选手手上调试用的模拟器和裁判计分用的是同一份程序,正式评分没有隐藏场景,同一份设计文件在任何时候跑都得到相同结果。这是"可复现"成立的前提:如果物理引擎本身有数值抖动,榜单再公开也无法重算。GitHub

仓库甚至没有提交比赛用的可执行文件,而是要求按原参数用w64devkit的GCC 16.2.0从源码编译,得到的exe与比赛时逐字节相同,编译器不同则退回用评分脚本核对。每份入库文件的SHA-256也写进了来源清单,区分赛时原件哈希和入库哈希。GitHub

开源摊开的是一条完整评分链

打开这场比赛的目录,能看到的远不止一个裁判程序。发给选手的开赛消息原样公开,9位选手拿到一字不差的同一句提示词,工作目录里是同一份选手包,文件哈希全部相同。选手包、九人的最终设计JSON、主办方参考答案、引擎源码、逐局成绩、回放网页和一键重算脚本各自成目录,scores.json里连每关造价、场景通过数和设计文件的SHA-256都有记录。比赛官网还把网页模拟器开放给公众:导入任何一份选手设计可以自己试车,自己搭的桥通过全部公开场景后可以上传进排行榜。GitHub哔哩哔哩

计分口径同样透明:关卡分等于100乘参考造价除以你的造价,桥造得比参考答案便宜就能超过100分,GPT-6.2 Sol在第2关拿了137.85分;超预算、没交、场景没过都是0分。观众因此可以直接指出谁在第5关超了预算、谁在第4到6关干脆没过——榜单上每个数字都能落到一份可下载的设计文件上。GitHub

复现的边界:主办方自己写下不背书的部分

CONDITIONS.md里明确了解释限制:每个模型只跑一次,单次结果有偶然性,工具、接入渠道和思考档都会影响结果,不能把本场结果当作模型能力排名。思考档只是启动配置里的设置,不是对每次实际请求参数的独立验证;工具版本没有逐人留存清单。选手的会话记录和思考内容、主办方的启动、计时、收卷脚本全部不收录。换句话说,"复现成绩"意味着设计文件被冻结入库,任何人可以重算它们应得的分数;想让DeepSeek或GPT重新生成另一座桥再赛一场,不在开源范围内——模型生成过程不可复现,这一点主办方没有粉饰。GitHubGitHub

评论区的热帖里,有人认为豆包在工具订阅上被"特殊照顾"、担心比赛不公平,被高票回应的一句是"反正都开源了,建议自测"。争议从"信不信你"变成"不信自己跑一遍",这正是开源带来的变化。至于评论区流传的"DeepSeek烧了几千万Token只拿垫底",仓库没有收录任何token消耗数据,属于社区调侃,不在可复现范围内。哔哩哔哩

对普通用户来说,这件事的实际意义可能比榜单本身更大:它给第三方模型评测立了一个可检查的底线——提示词一字不差、评测工具开源且确定、原始提交逐份入库、成绩一条命令可重算。它没有解决的也同样清楚:只跑一次的单次样本撑不起能力结论,模型版本和调用配置没有留档,“开放"止步于"这一份成绩可复核”,而不是"这场比赛可以再打一遍"。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章