挑战Kimi K3.1 Pro写小游戏:测评超GPT-6是噱头还是真香?

源自107位全网作者

10:03

10月24日凌晨,月之暗面只用一句「认识一下」发布了新模型。官方快讯把话说得更全:K3.1系列的第一个模型,公司迄今能力最强的3万亿级参数模型,支持100万上下文。发布当晚,开发者对它做的挑战朴素直接——一句话写个小游戏:提示词只要求生成一个以《明日方舟》阿米娅为主角的3D跑酷游戏,模型自己完成搭建、调试并上线了可玩版本。这场随手实测,正好用来回答标题里的问题:「测评超GPT-6」不是噱头,但有两个前提——超GPT-6成立在第三方综合榜和Agent编程榜上,Claude系仍在它前面,3D建模上GPT-6反而能赢它;而「真香」主要香在写代码、跑长任务的人身上,账单未必变便宜。微博微博哔哩哔哩

先看「超GPT-6」这个说法的出处。Artificial Analysis智能指数上,K3.1 Pro拿到55分、全球第四,比上一代K3高出11分:GPT-6 Astra(即标题里的GPT-6)和Gemini 4 Argon被它压在身后,前面只剩Claude Opus 5.5、Claude Sonnet 5.5和Meta还没开放API的Muse Wonder Full。但同一份榜单也写了另一面:同价位下Sonnet 5.5比它高1分,Arena真人投票也排在它前面。「超GPT-6」是事实,「超Claude」不是。知乎

争议最大的编程Agent测试Terminal-Bench 4.0,考的是在真实终端里装环境、改代码、跑测试。第三方独立复现给出67.2%,为所有模型最高,上一代K3只有12.6%。月之暗面自己的成绩单则是另一组数字:K3.1 Pro 65.7%,GPT-6 Astra 58.2%,Claude Opus 5.5 66.4%——领先GPT-6七个百分点以上,落后台阶最高的Opus 5.5零点七分。同一项测试两套分数,不代表谁在美化:Agent基准里工具怎么调、超时怎么算、重试几次,都能挪动好几个百分点,0.7分的差距经不起换裁判,而它对GPT-6的领先幅度大到两套口径都稳定成立。这也是「超GPT-6不是噱头」可以直说、而「追平最强闭源」必须缓说的原因。知乎知乎

它在3D建模上就没能赢。BenchCAD考多视图重建、从渲染图写CAD代码还原零件,K3.1 Pro带工具得分92.7%,低于Opus 5.5的96.2%和GPT-6 Astra的95.9%;不带工具只有72.8。换句话说,3D能力一半长在工具调用闭环上,不是裸模型赢。官方主推的游戏案例也走同一路子:虚幻引擎5.8的天宫对战游戏,半径1750米的柱廊是它在Blender里程序化建的,整个场景3600万个三角形。自己找素材、自己接引擎、拼成能玩的东西——小游戏挑战里社区最服的同样是这一点:不是生成得漂亮,是它自己debug到能玩。哔哩哔哩知乎

还有一处容易被标题带跑:参数一个没加。K3.1 Pro不是从零训的新模型,它是K3的后训练版本,基座没换——总参数2.8万亿、MoE架构每次推理激活1040亿的底子来自今年7月。涨分靠的是跨越数百个下游领域的大规模联合强化学习,RL框架、沙箱、调度逐层重做。技术报告里最能说明问题的是人体行走模拟:在167个任务阶段、420次独立评审中,模型持续分析实验结果、修改控制器、重新训练,修好36处肩部肌肉力臂计算错误之后,模拟人物才做到连续交替行走11.2秒。调奖励调不好时,它回头怀疑环境本身算错了——这正是长程任务最需要、也最难被问答式模型学会的动作。知乎知乎

工作类测试的涨法与之一致:模拟真实办公任务的GDPval-AA排到第3,比K3涨了312分,在SaaS软件里跑工作流的AutomationBench从58%涨到73%。知乎

说回钱。API单价确实降了:输入13元每百万token、输出68元、命中缓存1.3元,美元价从K3的3刀/15刀降到2刀/10刀。但第三方评测提醒:单价降约33%的同时,每项任务的平均输出token反而变多了,单任务成本未必同比下降——AA按智能指数任务算出来约1.98美元一个,与K3基本持平。高速版输出快2到3倍、价格翻倍,企业版默认不开。知乎知乎知乎

订阅侧的抱怨更实际。Kimi Code从49元到699元分四档、额度按百分比显示,评论区有人算过699档的档位消耗,发布夜的免费入口还要排队。单价降不降是官方账本,额度烧多快得拿一周真实工作自己测,这比任何跑分表都可靠。知乎

结论之前,三条边界必须画清。权重还没放:官网、App、Kimi Work、Kimi Code和API现在都能用,但官方承诺是11月4日前放出完整权重,许可证没公布——在那之前它是可用的闭源服务加一个带日期的开源承诺,第三方无法本地复现这些分数。能力也有主动削掉的部分:为不把网络攻防推过危险线,训练里移除了网络安全数据,xdev-bench-hard从削减前的90.5%降到最终发布的81.0%。幻觉改善要按口径读:官方压力测试里单条事实出错率从23.4%降到8.3%,而月之暗面自己也注明了,这是刻意聚焦易错情形的测试,不代表日常整体错误率。知乎知乎知乎

所以,是噱头还是真香,取决于用哪把尺子:Agent编程的尺子上,超GPT-6是真;3D设计的尺子上,它排在两家闭源之后;开放权重这把尺子,11月4日才有答案。如果你的活是写前端、做3D、跑长程编码,现在值得上手试,小游戏和那台「自己debug到能玩」的跑酷游戏已经是够格的样本;要查资料求事实准确、或者等着本地部署的,建议等权重放出再看独立复现。这次发布最扎实的改变或许不在名次,而在路线本身:基座不动,后训练照样能涨出一个身位——下一轮竞争,拼的是真实任务环境和反馈闭环的工程能力。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章