什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

第14名也是中国第一:Arena这次的榜单,别只看名次

11月16日,评测平台Arena官宣:Qwen4-Max在Agent Arena排名第14,是榜单上的第一中国模型。评论区比榜单还热闹——“大哥这是第14啊”“咱们模型掉的这么快”。知乎微博

先别急着吵,这个榜还真不是"排名次"那么简单。

第14名也是中国第一:Arena这次的榜单,别只看名次

十天内,"中国第一"的椅子换了三回

把11月的记录摆出来,你会发现Agent Arena上的国产模型杀成了粥:

  • 11月5日:Kimi K3.1 Pro在Hugging Face开放权重,登顶Agent Arena开源模型榜第一、全榜第13。微博微博

  • 11月6日:Arena宣布腾讯混元Hy4是Agent Arena上的第一中国模型,按实验室排名混元位列全球第五。微博

  • 11月16日:Qwen4-Max首秀总榜第14、中国模型第一,比前代净提升+7.5%,阿里也爬到实验室总榜第五,排在Anthropic、Google、OpenAI、Meta之后。微博

排名一周一变,说"某某是国模之光"确实为时尚早。但"净提升+7.5%"这种趋势数字,比名次本身耐看——它说的是进步幅度,不是谁封王。

这个榜测的到底是什么

普通Arena榜单更像"口味投票":同一个问题两个匿名回答,用户选顺眼的。Agent Arena不看这个,它看的是14,700次真实Agent会话,报告用户满意度、任务成功、可操控性和Bash可靠性等信号。拆开就是四个指标——知乎

  • 用户夸多还是骂多(Praise vs Complaint)

  • 任务是不是被确认完成(Confirmed Success)

  • 能不能听劝、按你要求调整(Steerability)

  • 跑命令靠不靠谱(Bash Reliability)

第14名也是中国第一:Arena这次的榜单,别只看名次

而且Work、Chat、Code分开给排名。一个聊天答得漂亮的模型,遇到文件路径报错、命令超时、需求中途变卦,可能当场翻车——这正是Agent榜想扒开的底裤。知乎

为什么"榜单第一"和"实测拉胯"能同时成立?

前脚登顶、后脚就有用户开麦"我感觉hy4没这么好…"。这不奇怪:榜单是几万次会话的聚合结果,你的任务分布、工具链、权限设置和采样人群未必一样;环境、提示词、工具好坏都在分数里,模型只占一部分。微博

所以这个榜的正确用法是:选候选池时按你的场景看分类名次(写代码盯Code榜,跑长文档看Work榜),看新模型重点看净提升和稳定性信号,而不是揪着总榜名次站队。

至于"第14名好意思吹"?人家本来也不是来夺魁的。差距还在,但在"让用户把活干完"这件事上,国产模型这次确实挤进了牌桌。

第14名也是中国第一:Arena这次的榜单,别只看名次

顺便说一句,Arena还专门分析过一批真实的Agent会话数据。这类研究会告诉你另一个维度的真相——比如Agent消耗的Token里,86%至96%都是重复读取已见过的上下文,缓存开关能让成本差出好几倍。榜单背后这些真实数据,比"第几名"值钱得多。想验证谁是真第一,最便宜的办法永远是:拿你自己的任务跑一轮。微博

评论

评论区空态插画

当前文章无评论,是时候发表评论了