10月20日,AI评测平台Arena公布结果:三天前刚更新的DeepSeek-V4.1-Flash-1017(Max模式)拿下Agent Arena开源模型第一,总榜排到第11位。排在它前面的10个席位全是闭源旗舰,而且贵得多。 Arena给出的成本口径更扎眼:跑一个智能体任务的中位花费约0.20美元,约为GPT-6.1 Sol提升幅度的37%、成本的27%。金融界网站AIGC非著名程序员Nice科技AI
这份榜单没法靠静态跑分刷出来
Agent Arena统计的不是题库得分:用户在不知道模型名字的情况下,拿真实任务测智能体实际干活——读写文件、执行命令、多轮调用工具——Arena再用超过7500个真实会话计算相对基线的净改善,1017这一版的答案是+5.1%。 拆单项看,任务完成率排第8(提升11.5%,开源模型里最高)、用户满意度第11(+5.9%)、Bash命令可靠性第12(+5.4%)、可控性第13(+2.5%)。 同一条披露里还提到,它没有出现调用不存在工具的工具幻觉,已进入性能与成本的帕累托前沿。微博AIGC非著名程序员IT之家
含金量不止一张榜
10月19日,Arena宣布1017(Max)超过Kimi K3(Max),成为Code Arena:WebDev榜单上排名最高的开源模型,得分1670分,还排在Claude Opus 5(High)之前。 网站设计方向同样有斩获:Design Arena的开放权重榜单上,1017排开源第三,比7月旧版V4-Flash-0731一口气跳了16个位置,它前面只剩Kimi K3和小米的MiMo-V2.6-Pro。智东西微博
便宜,才是这轮更新真正的杀伤力
官方定价这轮没动:高峰时段每百万Token输入2元、输出8元,空闲时段降到1元和4元,缓存命中的输入低至0.02–0.04元,综合成本约为Kimi K3的十分之一。 10月17日这次更新网页端、APP、API同步切换,调用名没改、价格没变,官方把它称为性能与费用之间的帕累托改进。 智东西用3D古城场景和网页赛车游戏两个案例实测,两项均一次性完成,合计花费约6元。智东西知乎
三件事别误读
第一,第11不是第1。它身前是Max模式拉满的闭源旗舰,开源与顶级闭源的差距没有消失,只是被压薄了;而它身后,站着上一代的自己和其他开源模型。
第二,盲测榜和静态基准是两把尺子,各家在不同赛道互有胜负。同一周发布的MiniMax M3.1 Flash,按官方公布成绩在Automation-Bench拿下62.8分、全场第一,压过了1017的60.5分。 但换到软件工程基准DeepSWE v1.1,M3.1 Flash的73.7分仍排在1017的77分之后。 第三方评测Artificial Analysis口径下,1017版综合指数45分、在121个模型中排第2,是并列最高的开源权重模型;此前社区里"它排名很低"的印象,多是拿着9月旧版的分数在看。新智元量子位知乎
第三,开源榜的王座随时换手。10月24日刚发布的Kimi K3.1 Pro代码能力大增,月之暗面承诺在11月4日前开放模型权重——权重一旦落地,"开源第一"的口径就要重算,这也是验证这次登顶成色的第一个观察点。微博