AI Agent评估如何科学评分？Anthropic最新技术博客深度拆解了代码评分器、模型评分器和人类评分器三大核心组件，并给出了具体的实现方法和最佳实践。这套评估体系既保证了效率，又确保了质量，为构建可靠的Agent系统提供了重要参考。
智能速览
代码评分器有六种核心方法，速度快成本低但缺乏语义理解
模型评分器通过量表评分、断言判断等方式处理语义任务
人类评分器主要负责校准方向，防止系统偏离目标
健康评估体系呈金字塔结构，三者缺一不可
专家审查用于高风险领域，定义绝对不可接受的错误
精华内容
在AI Agent的评估体系中，评分器是质量把控的关键环节。单一的评分方法往往难以全面衡量Agent的表现，需要多种评分器协同工作，才能构建出既高效又可靠的评估系统。
代码评分器
代码评分器是评估体系的执法者，特点是速度极快、成本极低且绝对客观。Anthropic总结了六种核心评分方法：字符串匹配包含精准匹配、正则提取和模糊匹配三种细分玩法；二元测试通过Fail to pass和Pass to pass验证agent的修复能力和稳定性；静态分析使用linter、mypy等工具检查代码质量；结果验证通过直接运行脚本查询数据库或文件系统，这是最硬核的评分方式；工具调用验证确保agent正确使用API工具；轨迹分析则关注效率，设置最大轮次或token上限防止低效操作。
代码评分器的优势在于客观性和高效性，但缺点也很明显：过于死板，无法理解语义。比如在客户服务场景中，代码评分器只能检查是否包含"抱歉"词，但无法判断"我很抱歉但这就是无理取闹"这句话在业务层面的负面影响。
模型评分器
模型评分器即LLM裁判，解决了代码评分器无法处理的语义理解问题。Anthropic提出了五种实现方法：基于量表的评分需要用自然语言明确定义每个分数的边界，把人类直觉翻译成LLM可执行的规则；自然语言断言将复杂打分降维为简单的判断题，通过具体的是非问题进行评估；成对比较让模型判断两个回答的优劣，特别适合版本迭代场景；基于参考的评估判断语义一致性而非字面匹配；多裁判共识通过多个模型打分取平均或多数表决，减少偏见。
模型评分器的优势在于能理解上下文和语义，但存在非确定性、成本较高的问题，且需要通过人类评分进行校准来保证准确性。相比传统的量表评分，专家更推荐二元评分方法，因为更加稳定、便宜且易于调试。
人类评分器
人类评分器并非评估体系的原始阶段，而是承担着更高层级的职责。Anthropic定义了五种人类介入方式：专家审查由领域专家定义高风险领域的绝对标准，如医疗法律中什么样的错误是致命的；外包判断评估输出的自然度和人性化程度，收集普通用户的直觉反馈；抽样检查定期复核系统运行轨迹，防止评估漂移；A/B测试让真实用户用行为投票，作为最终验证手段；标注者一致性检查多个评审员能否达成共识，反向评估任务定义是否清晰。
人类评分器是质量上的金标准，主要用于校准而非规模化评分。其核心价值在于帮助系统持续校准：校准任务定义、校准模型评分、校准代码规则。虽然成本高、速度慢，但在评估体系中不可或缺。
金字塔结构
健康的Agent评估体系呈现金字塔结构：底座是代码评分器，通过正则匹配、二元测试和结果验证快速过滤低级错误，这是最便宜最快的部分；中间是模型评分器，解决语义理解和开放式判断，处理人类语言中无法硬编码的部分；塔尖是人类评分器，负责定义目标、校准系统、发现评估本身的缺陷。
三者形成闭环：仅有代码评分，系统会变得僵硬机械；仅有模型评分，系统会飘移不稳定；缺乏人类评分，整个系统最终会偏离人类真正关心的结果。这种分层设计既保证了评估效率，又确保了质量，是构建可靠Agent评估体系的核心框架。
这套评估体系的价值在于平衡了效率与质量，通过分层协作实现了既快速又可靠的Agent评估。随着AI技术不断发展，评估方法论也在持续演进。如何进一步优化评分器的协同效率？如何在更多垂直领域落地这套框架？这些问题值得深入探索。
