两场 AI 造桥赛,两个冠军:这份排名能直接用来选模型吗?

源自60位全网作者

01:54

同一批模型,两场造桥赛,两个冠军。10 月的 Agent Wars 让 5 个模型设计一座 2 英尺跨度的桥,再 3D 打印出来比承重,Claude Opus 5.5 以约 130 磅承重拿第一,GPT-6 Astra 17.5 磅第三,Grok 4.7 和 Kimi K3 连组装都没完成。 到了 11 月 9 日,ModelDial 挑战赛换了规则:8 个模型、6 道关卡、全程盲打,GPT-6 Astra 98.58 分第一,Gemini 4 Argon 95.12 分第二,Claude Opus 5.5 69.91 分第三;千问 60.67 分第四,Kimi 49.54 分第五,Grok 39.33 分第六,DeepSeek 20.34 分第七,混元 20.32 分第八,后两者只差 0.02 分。 同一批模型,换个规则,冠军就换了人。那这份排名,能不能直接拿来选模型?小红书ModelDial

先看 ModelDial 这场比的是什么。6 关全部盲打,只给河宽和预算,模型要自己算结构、交图纸;每关两次机会,第一次过拿满分,第二次过只拿一半;最后两关权重最高,合计占了一半分。 计分也不是纯能力:能力分满分 90,效率分满分 10,按生成 token 计,不是按美元计。GPT-6 和 Gemini 都是 6 关一次过,能力分同为 90;GPT-6 最终领先 3.46 分,赢在效率分,而不是“桥造得更好”。 所以,如果“选品”只看第一名,你实际上把 10% 的 token 效率当成了决定项。哔哩哔哩ModelDial

更值得看的是失分原因,而不是名次。混元排第八,但它的两个 0 分都写着“schema”——输出格式没过,不是桥塌了;它在长跨关一次过,在载车抬升关也通过,工程能力并不是零。 不过,这类失败对选型反而好办:加一层结构化输出校验,可能就补上了;但如果你的系统就是让模型裸出 JSON,这就是实打实的风险。ModelDial

另一些失分则是能力或约束问题。Claude 和 Kimi 在最后一关栽在 boat_clearance,千问栽在 dock_alignment,都是空间几何与对位问题;DeepSeek 是 buckling 和 tension,是力学;Grok 是 material_limit 和 timeout,是约束与时限。 所以,这些坑对选型的含义完全不同:几何/力学短板要靠换模型或加工具,超时则是延迟敏感场景的直接红灯。一个总排名把“不会做”和“没按格式交”压成了同一个分数。ModelDial

成本和时间也不在同一条线上。Claude 排第三,但调用账单约 21.12 美元,是 GPT-6(约 5.26)的四倍、DeepSeek(约 0.82)的二十多倍;Grok 约 5.52,Gemini 约 4.46,Kimi 约 3.40,混元约 2.03;千问的调用在榜上是未定价,美元成本缺一块。效率分按 token 算,账单按美元算,两者不是一回事。 另一边,Claude 的总耗时约 127.7 分钟,Grok 约 277.1 分钟,其中第五关有模型整整 80 分钟没算出来交了白卷,却又在最后一关手算到小数点后六位过关。 回到选型上,如果你的场景是高并发、低单价,排名第七的 DeepSeek 可能比排名第三的 Claude 更合适;如果是一次性的高价值设计,Claude 的能力分仍然值得那个价。名次回答不了这个问题。ModelDial哔哩哔哩

还有一个容易被忽略的前提:这不是一次受控实验。只有 1 轮、6 关、8 个模型,单次结果;思考档位并不统一,Gemini、千问用 high,混元在部分关卡用 default,Grok 用 xhigh,其余多为 max;同一位模型在不同关卡的档位也可能变,混元第一关是 default、后面是 high;千问还是以匿名鸭子模型 QoDuck 参赛。样本小,最后两关又占一半权重,一道题失手就足以把名次拉下去。把它当成“结构推理和长程约束”的一个切片可以,当成通用模型能力榜就超纲了。

所以,这份排名能当参考吗?能,但要降级使用。先看能力分和一次过率,圈出在“空间结构 + 长程约束 + 预算控制”上稳的模型;再看失分原因,确认那些坑你的业务能不能容忍;最后把账单和延迟放进来,算你自己的单位成本。真正的选型,还是得拿 50 到 100 条自己的真实任务做 A/B,把质量、格式合规、成本、延迟和失败可恢复性一起打分。造桥赛能告诉你谁在桥上稳,不能告诉你谁写文案、写代码、做客服更好。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章