11月16日,评测平台Arena官宣:Qwen4-Max在Agent Arena排名第14,是榜单上的第一中国模型。评论区比榜单还热闹——“大哥这是第14啊”“咱们模型掉的这么快”。知乎微博
先别急着吵,这个榜还真不是"排名次"那么简单。

十天内,"中国第一"的椅子换了三回
把11月的记录摆出来,你会发现Agent Arena上的国产模型杀成了粥:
11月5日:Kimi K3.1 Pro在Hugging Face开放权重,登顶Agent Arena开源模型榜第一、全榜第13。微博微博
11月6日:Arena宣布腾讯混元Hy4是Agent Arena上的第一中国模型,按实验室排名混元位列全球第五。微博
11月16日:Qwen4-Max首秀总榜第14、中国模型第一,比前代净提升+7.5%,阿里也爬到实验室总榜第五,排在Anthropic、Google、OpenAI、Meta之后。微博
排名一周一变,说"某某是国模之光"确实为时尚早。但"净提升+7.5%"这种趋势数字,比名次本身耐看——它说的是进步幅度,不是谁封王。
这个榜测的到底是什么
普通Arena榜单更像"口味投票":同一个问题两个匿名回答,用户选顺眼的。Agent Arena不看这个,它看的是14,700次真实Agent会话,报告用户满意度、任务成功、可操控性和Bash可靠性等信号。拆开就是四个指标——知乎
用户夸多还是骂多(Praise vs Complaint)
任务是不是被确认完成(Confirmed Success)
能不能听劝、按你要求调整(Steerability)
跑命令靠不靠谱(Bash Reliability)

而且Work、Chat、Code分开给排名。一个聊天答得漂亮的模型,遇到文件路径报错、命令超时、需求中途变卦,可能当场翻车——这正是Agent榜想扒开的底裤。知乎
为什么"榜单第一"和"实测拉胯"能同时成立?
前脚登顶、后脚就有用户开麦"我感觉hy4没这么好…"。这不奇怪:榜单是几万次会话的聚合结果,你的任务分布、工具链、权限设置和采样人群未必一样;环境、提示词、工具好坏都在分数里,模型只占一部分。微博
所以这个榜的正确用法是:选候选池时按你的场景看分类名次(写代码盯Code榜,跑长文档看Work榜),看新模型重点看净提升和稳定性信号,而不是揪着总榜名次站队。
至于"第14名好意思吹"?人家本来也不是来夺魁的。差距还在,但在"让用户把活干完"这件事上,国产模型这次确实挤进了牌桌。

顺便说一句,Arena还专门分析过一批真实的Agent会话数据。这类研究会告诉你另一个维度的真相——比如Agent消耗的Token里,86%至96%都是重复读取已见过的上下文,缓存开关能让成本差出好几倍。榜单背后这些真实数据,比"第几名"值钱得多。想验证谁是真第一,最便宜的办法永远是:拿你自己的任务跑一轮。微博
当前文章无评论,是时候发表评论了