随着大模型和多任务智能体广泛应用，评测成本高、样本冗余等问题日益突出。谷歌DeepMind提出的Active Evaluation框架，通过在线决定评测对象，旨在以更少的样本实现更准确的模型排序。这一新范式为低成本、可扩展的智能体评估提供了可行路径，有望改变现有的评测逻辑。
智能速览
首次将多任务智能体评测建模为在线主动学习问题。
提出AGRE指标，统一衡量Top-k与全局排序误差。
系统性对比20余种算法，覆盖评分、社会选择及博弈论方法。
社会选择方法SCO表现最优，误差仅为Elo的一半。
任务选择策略与结果聚合方式同等重要，决定评测效率。
精华内容
面对传统评测的静态与低效，主动评测框架如何通过“在线决策”动态优化资源分配？其核心机制与关键发现，揭示了低成本、高效率评估智能体的新可能。
评测新范式
该框架首次将多任务智能体评测问题形式化为在线主动学习。算法不再被动接受评测任务，而是每一轮主动选择最有价值的「任务+智能体」组合进行评测，即时获取带有噪声的评测信号，并持续输出全局排名。评测的核心目标从单纯完成任务，转变为以最少的样本数将排序误差降到最低。
AGRE新指标
为统一比较不同算法，研究提出了Average Generalized Ranking Error（AGRE）指标。该指标巧妙融合了关注头部模型的Top-k识别错误和衡量整体排名的Kendall-tau距离，可根据实际需求灵活调整权重。这使得研究者既能聚焦“谁是冠军”，也能评估“完整排行榜”的准确性，实现了跨算法、跨任务的公平对比。
基线算法对比
研究系统性地对比了20余种主动评测算法，涵盖了三大类方法。除了经典的Elo评分法，还包括社会选择理论和博弈论中的Nash Averaging等方法。更关键的是，研究将这些经典方法扩展到了在线学习场景，引入了Bandit和Dueling Bandit视角，为任务和智能体的选择策略提供了统一的理论建模框架。
实证新发现
实验得出了几个关键结论。首先，尽管理论上有瑕疵，但经典的Batch Elo评分法在多种设置下依然是非常强的基线，尤其在任务分歧不大时表现稳健。其次，在Atari Agent57真实数据模拟中，社会选择方法SCO的排序误差仅为Elo的一半，说明基于“胜负关系”的结构化信息比单纯的“分数均值”更适合异构任务。最后，研究发现任务选择策略是决定效率上限的关键，当任务间差异大时，Proportional Representation策略能显著加速收敛。
谷歌DeepMind的这项研究，为大模型与智能体的评测提供了一套低成本、高效率的系统性解决方案。它不仅展示了主动学习在评测领域的巨大潜力，更揭示了“评什么”与“怎么评”同等重要。未来，这种动态评测范式会成为行业标配吗？
