构建一套可靠的AI agent评估体系是开发过程中至关重要的环节。Anthropic提出的九步路线图将评估系统建设分为三个阶段，从初期数据收集到框架设计再到长期维护，为开发者提供了可操作的完整方法论。这套体系不仅能准确衡量agent能力，更能指导开发方向，避免常见误区。
智能速览
早期开发阶段只需20-50个简单任务即可启动评估
测试任务必须清晰无歧义，两位专家应能得出相同结论
评估环境必须隔离，防止agent通过共享状态作弊
优先选择确定性评分器，评估结果而非实现路径
当agent接近满分时需引入更难任务保持评估有效性
精华内容
评估体系不是开发结束后的补丁，而是贯穿始终的罗盘。这套九步路线图将帮助我们从零开始构建科学、可靠的评估框架。
早期启动策略
开发初期无需追求大量测试用例，20-50个简单任务足以启动评估。早期系统改动带来的效果明显，小样本就能看清方向。关键是要先跑起来，避免等到系统复杂后再逆向工程推导成功标准。记住，很多时候不是agent不行，而是我们把题出坏了。
一个好的任务设计标准是：两个领域专家独立评估应能得出相同的通过/失败结论。任务描述必须消除歧义，避免指标噪声。同时要为每个任务建立参考答案，验证任务可解性和评分器正确性。
平衡测试集构建
测试集必须包含正反两方面案例，既要测试应该发生的行为，也要测试不应该发生的行为。如果测试集全是需要搜索的题目，agent会学到任何情况都调用搜索工具，这就是单边优化。
例如搜索功能测试，不能只测搜得到什么，还要测不该搜时是否保持静默。题库需要覆盖不足测试和过度触发测试，确保agent不会学到错误的偏好。这种平衡设计能避免agent过度依赖某些工具或行为模式。
稳健环境设计
评估环境要尽量接近生产环境，且每个测试任务必须隔离。从干净环境启动，避免遗留文件、缓存数据或资源耗尽导致的相关性失败。Anthropic曾发现某个模型在特定任务上得分虚高，是因为它通过查看共享状态下的历史记录偷看了上一次测试痕迹。
非独立的测试会让结果完全失真。必须确保每个测试用例都在独立环境中运行，agent无法通过任何非预期方式获取之前测试的信息。
评分器设计原则
评分器选择有明确优先级：优先确定性评分器，必要时使用LLM评分器，审慎使用人类评分器。不要检查agent是否遵循特定步骤，而要评估最终结果。Agent经常能找到设计者没想到的有效路径，强制规定路径会惩罚创造力。
复杂任务应给予部分得分。客服Agent虽然退款失败，但准确识别问题并验证身份，依然比直接崩溃要好。LLM评分器必须经过人类专家校准，最好给予Unknown选项防止幻觉。
评分器调试技巧
很多时候agent得分低是因为评分器有bug。Opus 4.5最初在CORE Bench只有42%分，是因为评分脚本太僵化，预期96.124991但agent输出96.12就被扣分。修复后分数直接跳到95%。
另一个例子是评分标准要求超越阈值，但遵循指令优化到阈值的模型反而被惩罚。仔细复核任务设置和评分机制，避免冤假错案。评分器还要具备防御性，堵住漏洞，防止agent通过非预期方式欺骗评估。
长期维护要点
检查评估交互轨迹至关重要，评分器给分数但轨迹给因果。任务失败时需要判断是agent真的犯错，还是评分器拒绝了有效解决方案。Anthropic投入专门工具查看轨迹，这是验证评估公平性的关键技能。
监控能力评估饱和度。当Agent通过所有任务接近100%时，测试集只能做回归测试。以SWE Bench Verified为例，通过率提高后进步难以体现，需引入更难任务确保评估仍能区分模型进步。评估套件需要明确主人，由领域专家贡献任务，实行评估驱动开发。
这套评估体系的核心思想是将评估前置，让它成为开发的起点和持续导航工具。从早期的小样本验证到后期的饱和监控，每个环节都体现了实战经验。随着AI agent能力不断提升，评估体系也需要持续进化，确保它能准确衡量真正重要的能力。
