九个 AI 的造桥赛开源了:普通人怎么复现,怎么测自己的模型

源自38位全网作者

12:08

先说一句扫兴的:比赛里那九次模型运行的过程,你复现不了。仓库没有它们的会话记录,也没有完整的工具版本清单。但你能复现更硬的东西——同一套题、同一套物理引擎、同一份评分脚本。“GPT-6.2 Sol 拿了 102.67 分”这句话,可以在你自己的电脑上重算出来。

B 站上这条视频(《AI 算法对抗大赛》第 9 集)已经 150 万播放。九个模型各拿 90 分钟,造七关桥:前六关让规定的车按时过河,过关后比造价;第七关各造一座决赛桥和一辆捣蛋车,两两打 72 局。 总榜第一是 GPT-6.2 Sol,102.67 分;最后一名是 DeepSeek V4.1 Flash,27.93 分。GitHub

开源的是整个系列,仓库叫 meow-ai-arena,MIT 协议。第 9 集的目录里,物理内核源码、选手包、九位选手的设计 JSON、72 局攻防结果、评分脚本、能离线打开的回放都在。最关键的是规则里的那句话:正式评分用的就是公开场景,没有隐藏题。 所以“本地跑过”和“比赛能过”是同一件事。GitHub

想验一遍,装 Python 3.9+ 和 g++,不需要第三方包。在 `bridge/` 下运行 `python build_engine.py`,再运行 `python tournament/score.py`。它会重算九位选手的闯关设计、6 份参考答案和 72 局攻防,逐项比对仓库里的成绩,最后打印“核对通过”。 8 核机器一两分钟。GitHub

只想看某座桥,进 `workspace/` 运行 `python bridge.py run 6 …/designs/sol62/level6.json`;退出码 0 表示该关所有公开场景都过,加 `–html replay.html` 可以生成回放。

想拿自己的模型再考一次,把 `bridge/prompt.md` 和 `bridge/workspace/` 原样给它,限时 90 分钟,七关一起发,收 `submission/` 里的 8 个 JSON。跑完用 `bridge.py run` 逐关验;要算总分,按 `bridge/README.md` 的公式自己加。

注意:这不是复现原来那九次调用,而是让新选手坐进同一个考场。原来那九个模型当时怎么想、改了几版,你看不到;你只能看到它们交的桥,以及桥在引擎里的结果。

所以别把总榜当成“模型能力排名”。仓库的 `bridge/CONDITIONS.md` 写得很直白:每个模型只跑一次,单次结果有偶然性;工具、接入渠道和思考档都会影响结果,不同工具的同名档位不能直接等同。 UP 主自己在置顶评论里也说,这期偏向娱乐、比较赶工。GitHub哔哩哔哩

比赛本身倒是有个很具体的看点:第 4~6 关只有 GPT-6.2 Sol、Claude Opus 5.5、GPT-6 Astra 过关;第 5 关只剩 Sol。 第 5 关叫“钱不够”:24 米河、左岸一个 4 米深的旧码头坑、没有木杆、预算 10000,参考答案 8216.12。Claude Opus 5.5 交了 13472 的桥,超预算,0 分;Sol 用 8621 过了关。难的不是“会不会造桥”,是“便宜地满足约束”。GitHub

网站的第 9 集排行榜已经开放,第 1~6 关按造价排。我打开时,第 1 关榜首 2265.47(参考答案 3509.84);第 5 关榜首 3387.36,而九位选手里只有 Sol 过关、造价 8621。这些成绩不能直接和比赛比——榜上的人可以在本地试无限次,比赛只有 90 分钟;而且服务器只重算造价和合法性,物理结果靠本地跑通、访客抽查。但它说明一件事:同一道题,换一个试错预算,名次会变。

如果你只想花十分钟,打开 `arena.meowllm.top/ep9/play.html`,载入九位选手的设计,看一座桥怎么被一辆捣蛋车拆掉;如果你想认真一点,把仓库 clone 下来,进 `bridge/` 跑一遍 `tournament/score.py`,再把 `prompt.md` 丢给你常用的 coding agent。桥不会跟你客气:车过不去,就是过不去。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章