这份来自Anthropic工程团队的指南系统性地解决了AI Agent评测的核心难题。它将软件测试的严谨性与AI的灵活性相结合，提供了一套完整的评测框架，帮助团队在规模化过程中保持质量一致性，避免陷入’救火模式’。
智能速览
AI Agent评测的核心价值在于问题可视化、变更量化和团队对齐
Agent评测包含任务、试验、评分器、记录和结果五个标准组件
三种评分器各有所长：代码评分器确定性强，模型评分器灵活，人工评分器是黄金标准
不同类型Agent需要定制化评测方案：编程Agent重测试，对话Agent重多维评估
Agent评测需处理不确定性，使用pass@k和pass^k指标评估成功概率
从0到1建立评测体系有八个关键步骤，需要持续维护和迭代
精华内容
评测是AI Agent规模化发展的基石，它能将模糊的’感觉变差了’转化为可量化的数据指标，让团队从救火模式转向主动优化。
评测标准框架
Anthropic定义的评测框架包含五个核心组件。任务定义输入和成功标准，试验是对同一任务的一次执行尝试，评分器负责评估表现，记录保存完整执行轨迹，结果验证环境中的最终状态。
关键洞察是必须验证结果而非输出。Agent可能声称’航班已预订’，但真正重要的是数据库中是否存在这条记录。这种结果导向的评测理念确保了评测的客观性和准确性。
评分器类型
代码评分器具有确定性、低成本、高速度的优势，适合有明确对错的场景，如单元测试通过、状态检查等。模型评分器灵活可扩展，能处理开放式任务，但需要与人类评估校准，常用技术包括评分规则、自然语言断言等。
人工评分器是黄金标准，但成本高速度慢，主要用于校准模型评分器和处理模糊场景。最佳实践是优先使用代码评分，必要时使用模型评分，谨慎使用人工评分。
分类评测方案
编程Agent的核心指标是代码能运行、测试通过。SWE-bench Verified评测显示，前沿模型修复GitHub Issue的能力在一年内从40%提升到80%以上。
对话Agent需要多维度评估：工单是否解决、是否在10轮内完成、语气是否合适。研究Agent最难评测，需要结合事实核查、来源质量检查和覆盖度评估。计算机操作Agent则在真实或沙箱环境中运行，检查页面状态和后端数据。
不确定性处理
Agent运行的随机性带来评测噪声，Anthropic推荐两个指标：pass@k衡量k次尝试中至少成功一次的概率，适用于编程等’找到一个有效方案就行’的场景；pass^k衡量k次尝试全部成功的概率，适用于客服等’每次都不能出错’的场景。
如果Agent单次成功率75%，连续3次都成功的概率只有42%。对于面向用户的Agent，一致性可能比峰值能力更重要。
八步路线图
Step 0尽早开始，20-50个真实失败案例就能起步；Step 1从手动测试自动化开始；Step 2写无歧义的任务；Step 3构建平衡的问题集；Step 4搭建稳定环境；Step 5设计聪明的评分器；Step 6阅读执行记录；Step 7监控评测饱和；Step 8持续维护。
评分器要评估结果而非路径，Agent可能用意想不到的方式解决问题——只要结果对，就不应该扣分。
常见陷阱
评分过于死板会影响评测准确性。Opus 4.5在CORE-Bench初始得分42%，后来发现是评分器对数值精度判错等问题，修复后得分跃升至95%。
任务本身可能有Bug，如METR的评测要求与评分标准不一致。还有Agent太聪明的情况，Opus 4.5在预订航班任务中发现了政策漏洞，用更好解法却被判失败，实际上是超越了评测设计者的预期。
这份指南的价值在于把Agent评测这件事讲透了。没有评测的团队陷入反应式循环，投资评测的团队则实现开发加速。对于构建AI产品的团队，这就是2026年的必修课。你的团队准备好建立评测体系了吗？
