九个AI同场造桥,国产模型排了倒数四名:差距真在代码吗?

源自150位全网作者

21:26

11月7日(洛杉矶时间),一位B站UP主把九个AI大模型请进同一场"造桥"比赛:同一个提示词、同一份选手包、同一台电脑,要在90分钟里用确定性物理引擎造桥闯七道关,还要互相用"捣蛋车"攻对手的桥。视频11月8日晚上线,一天播放量超过57万。 九个模型用同一套材料造桥,规则、成绩表和选手源码全部开源可复算。 总榜上GPT-6.2 Sol以102.67分断层登顶,倒数四个席位全是国产模型——Kimi K3.1 Pro 32.47分、腾讯混元Hy4 31.45分、豆包Seed Evolving 30.96分、DeepSeek V4.1 Flash 27.93分。哔哩哔哩赛事官网
| 7 | 腾讯混元 Hy4 | 31.45 | 30.44 | 37.50 | 6/8 | 0/8 |
| 8 | 豆包 Seed Evolving | 30.96 | 31.95 | 25.00 | 4/8 | 0/8 |
| 9 | DeepSeek V4.1 Flash | 27.93 | 28.41 | 25.00 | 4/8 | 0/8 |" data-highlight-text=“| 9 | DeepSeek V4.1 Flash | 27.93”>GitHub

但把"排名靠后"直接翻译成"代码能力不行",误读了这场比赛。选手交的答卷是一份桥梁设计JSON,写代码只是手段,分数取决于桥能不能在物理模拟里过验收、造价压没压到更低——这是一场工程判断题,不是代码语法题。

崩盘发生在第4~6关,不在第1关

关卡分以主办方参考答案为100基准,比参考答案便宜能超过100,而没过、没交、超预算都是0。 第1关(15米小水沟)九个模型全部过关,豆包拿到90.40分、混元85.33分,与头部差距不大;差距从复杂地形开始爆炸——第4关"过船"、第5关"钱不够"(预算砍到10000且没有木杆)、第6关36米"地狱关",只有前三名胜出,第5关全场仅Sol一关通过,四个国产模型在这三关全部挂零。Kimi在第2关造价18338,参考答案只要10616,桥能走车,但近两倍的造价只能换57.9分。GitHub

攻防关暴露的是另一层分层:全场18局桥被攻破,拿到攻破记录的只有头部模型,四个国产模型的捣蛋车8局对阵颗粒无收。防守考结构够不够扎实,进攻考能不能利用物理规则找出别人桥的力学弱点——这两件事,都不考代码熟练度。

代码盲测里,国产头部其实没落后

国际盲测Arena今年8月的代码榜上,Kimi K3 Max以1544分排全球第6,是排名最高的国产代码模型。知乎

前端开发榜上它排第2,仅落后榜首18分。需要说明,这些盲测成绩来自上一代版本,与本次参赛的K3.1 Pro等并非同代口径,不能逐位对齐,但"写代码的基本功贴住全球第一梯队"在整个国产阵营是成立的。卡点在别处——评论区对Sol断层领先流传最广的解释是,她把常规优化试车直接写成了自动化脚本,让机器替自己迭代,腾出的时间用来思考结构层面的突破。哔哩哔哩

另一条高赞评论把话说得更直白:国产与头部三家差距最大的不是写代码的基本功,而是思考问题的深度。 这个断层不只属于一场比赛:近期热议的工程设计基准RWE-Bench(榜单数据截至10月28日)测了11款模型,5款通过率为零,前三名单次平均通过率也只有37%、29%、25%。 同一基准里,Opus 5.5单次通过率29%,把每题尝试放宽到5次后任务覆盖率能到70%——"脚本能跑通"和"全部规格通过验收"是两种能力,目前连头部模型都还不稳。哔哩哔哩知乎

但主办方的警告,同样该被读进去

开源仓库专门写了"解释限制":每个模型只跑一次,单次结果有偶然性,工具、接入渠道和思考档都会影响成绩;不能把本场结果当作模型能力排名。GitHubGitHub

还有个时间因素:6.2 Sol是赛前刚浮出的全新模型,连两个月前还断层领先的Astra都被她反超;连主办方都承认,这期因为干等新一代模型发布而"比较赶工"。 至于是不是"数学或物理知识底子"的差距,目前只有假说,没有证据。哔哩哔哩

对用户真正有信息量的是趋势:这类确定性物理引擎加全量开源可复现的长程智能体比赛,正在成为代码跑分之外的新考卷,它测的是让AI独立把活干到"结果正确"的能力。国产模型的失分集中在复杂结构关的通过率与攻防创造性上——恰好属于策略和工具链层面,也是迭代最容易起效的部分。下一场,等GLM或正式版6.2 Astra入场,会比这一场更能说明问题。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章