11月16日,Arena 官方自己发帖报喜:Qwen4-Max 首登智能体榜 Agent Arena,总榜第 14,中国模型第一。作为对比,上一代 Qwen3.8-Max 在这张榜上还排第 39。评论区照例吵起来:一派说"才第14,急什么",另一派说"这榜含金量跟聊天榜不是一回事"。知乎小红书知乎

Agent Arena 是什么:聊天榜看"会说",智能体榜看"会干活"
平时刷屏的 Arena 是盲测投票:两个匿名模型各答一题,用户挑更好的那个。Agent Arena 换了规则——真实用户把真实任务扔给模型:改 bug、跑命令、写报告,干完活才算分。知乎
Arena 在这次公告里,把约 14,700 次真实智能体会话拆成四个信号:Confirmed Success(任务是否确认完成)、Praise/Complaint(用户是夸是骂)、Steerability(需求变了能不能纠回来)、Bash Reliability(命令执行稳不稳)。聊天榜测"会说",智能体榜测"会干活"。知乎小红书
第 14,是成绩还是丢人?
两个视角都得摆出来:
纵向看是大跨步:从第 39 跳到第 14;同期 Arena 前端编程榜 CodeArena 上,Qwen4-Max 得分 1750、排第 6,同样是国产模型里最高的。知乎
横向看头部仍是海外:按公司算,阿里在这张榜上排第 5,前面只有 Anthropic、谷歌、OpenAI、Meta 四家。
所以"中国模型第一"是真的,但头部还握在四家海外公司手里——坐上干活这张桌,不等于抢了桌上的菜。

“这榜没法刷分”?这里得泼点冷水
有知乎用户把话说得很直接:“用户实际体验看 agent arena 分数就可以,只有这个是真实用户使用的众测平台没法刷分”。道理不假,长链条多步任务,公关稿刷不出来。但 147AI 这类分析也提醒,这个第 14 回答的是特定榜单下的实际任务表现,不能直接等同于所有场景都更好。工具、环境、权限都会左右结果,“榜上跑得通"不等于"你机器上跑得通”。榜单是缩小候选的线索,不是选型结论。知乎知乎
普通人到底该怎么用这张榜
别盯总名次,找自己的栏目:Arena 把这张榜拆了 Work、Chat、Code 分项。想让 AI 替你办公,盯 Work;想让它写代码,看 Code;做网页另有 WebDev 榜。知乎
拿自己的任务测:挑 10-20 个日常脱敏任务,记下卡在哪一步、返工花了几分钟,这比任何名次都可靠。
顺手算成本:官方口径 Work360 单任务费用从 26.58 元降到 11.16 元。缓存命中也从 1.5 元/百万 token 降到 0.5 元。这些是自报口径,放进自己的任务清单里复核一遍再当真。知乎知乎

榜单天天变,模型互相屠榜,但有一件事不变——聊天 AI 聪不聪明,看榜就行;干活 AI 靠不靠谱,得你自己称。
当前文章无评论,是时候发表评论了