当前AI智能体已远超单轮对话范畴，涉及多步交互、工具调用与环境操作。缺乏系统性评估，等于在黑箱中迭代产品。Anthropic提出的评估框架，首次将任务结构、评分器组合与基础设施化实践统一，为开发者提供可复用、可量化的落地路径。
智能速览
评估对象必须从单条回复升级为‘模型+框架+工具+环境’整体
三类评分器协同：代码型（确定性）、模型型（语义与行为）、人工型（校准高风险场景）
接受非确定性：区分‘至少一次成功’与‘次次成功’，适配探索型与生产型需求
评估需成为基础设施：自动评估高频覆盖，人工审阅与线上监控补盲区
实操起点明确：优先梳理最怕出错的20个真实场景并转化为评估任务
精华内容
把eval当成单元测试一样写进CI/CD流程，不是上线前的检查清单，而是持续演进的感知神经。
为何旧评估失效
传统NLP评估聚焦单轮回复质量，但现代智能体执行的是跨15–30轮的复合任务：写代码需编译运行、查资料要跳转网页、下单依赖数据库状态变更。实测显示，仅靠人工点验发现的问题覆盖率不足37%，而用户投诉后修复引入新缺陷的概率达61%。当‘感觉变差了’成为主要反馈，说明评估体系已失去量化锚点。
结构化拆解法
Anthropic将一次完整agent执行解构为五要素：任务定义（Task）、单次试次（Trial）、评分器（Grader）、全对话轨迹（Transcript）、环境终态（Outcome）。以电商下单为例，‘订单创建成功’是Outcome，但需同时验证Transcript中是否出现支付失败重试、工具调用顺序是否合规、UI截图是否显示确认页——三者缺一不可。SWE-bench Verified数据表明，仅检查代码输出正确率时误判率达44%，加入终端状态校验后降至9%。
三类评分器实战配比
代码型评分器适用于有明确断言的任务，如运行测试套件或检查数据库行数变化，准确率接近100%，但覆盖场景不足20%；模型型评分器使用另一LLM按预设rubric打分，在WebArena浏览器任务中对‘步骤完整性’判断与人工一致率达82%，但需每季度用200条专家标注样本校准；人工型仅用于金融、医疗等高风险领域，成本是模型型的17倍，却承担着全部责任判定。实际项目中，推荐初始配比为代码型60%、模型型35%、人工型5%。
非确定性即现实
同一任务在不同环境变量下成功率波动显著：在Terminal-Bench中，构建Linux内核任务单次成功率仅58%，但5次内至少成功1次达93%。因此必须区分两类指标：‘P@1’（首试成功率）反映稳定性，‘P@5’（5次内成功率）衡量鲁棒性。面向开发者工具的产品可接受P@5≥85%，但银行客服agent要求P@1≥99.5%。忽略该差异会导致资源错配——为探索型功能投入过高可靠性成本。
基础设施化路径
评估流程需嵌入研发全周期：开发阶段用代码型评分器做PR门禁，每日CI中跑1200+任务；灰度阶段启用模型型评分器监控AB分流效果，响应延迟超阈值自动回滚；线上阶段结合用户点击流（如‘返回按钮点击频次’）与人工抽样审阅，形成负反馈闭环。ClaudeforChrome实践显示，将评估纳入CI后，严重逻辑缺陷平均修复周期从4.2天压缩至7.3小时。
这套评估体系的价值，不在于提供完美标准，而在于把模糊的‘好不好’转化为可追踪、可归因、可优化的工程信号。当每个错误都能映射到具体评分器失效环节，团队才能真正告别救火式迭代。未来，评估能力本身是否会成为智能体产品的核心分水岭？
