Anthropic发布AI Agent评估体系指南，揭示了行业现状：大部分Agent公司缺乏基础评估机制。这套体系重新定义了质量标准，强调评估产出而非路径，采用多层防护策略。为解决Agent评估的本质困难——如何在保证质量的同时不扼杀创新，提供了系统性方法论。
智能速览
当前大部分AI Agent公司缺乏基础评估机制，处于’裸奔’状态
评估应关注产出结果而非执行路径，避免扼杀创新解法
0%通过率通常意味着任务设计有问题，而非模型能力不足
采用瑞士奶酪模型的多层防护策略，组合多种评估方法
从失败案例中总结经验，修复评估体系本身的问题
Anthropic正通过这套体系建立行业质量基础设施标准
精华内容
Agent评估的核心困境在于：如何平衡创新自由度与质量控制？Anthropic的答案不是单一方案，而是一套完整的工程方法论，正在定义这个行业的基础设施标准。
评估现状
当前AI Agent行业普遍存在评估缺失问题。没有baseline，没有regression test，甚至连’什么叫好’都没定义清楚。Anthropic指出，大部分公司都在说’正确的废话’，但恰恰是这些基础，绝大多数Agent公司根本没在做。这种状态让Agent开发处于高风险状态，无法保证质量。
评估体系的建立不是可选项，而是必选项。就像传统软件需要单元测试、集成测试、端到端测试一样，AI Agent也需要一套同等严肃的质量基础设施。
核心原则
Anthropic强调评估产出而非路径。Agent经常会找到设计时没想到的有效路径，如果评分器只认固定路线，就会误杀创新解法。一个典型案例：Opus 4.5在航班改签任务中，通过升舱-改签-降舱的创新路径解决了用户问题，却被benchmark判定为失败。
这说明了评估的本质困难——你评估的是有自主性、有创造力的系统，它可能比你想象的更聪明。设计评估体系时，要抓住真正的错误，但不扼杀有价值的创新。
调试技巧
在前沿模型上，如果某个任务跑了100次全部失败（0% pass@100），最常见的原因是任务本身有问题，不是模型太菜。多数人看到0%通过率的第一反应是’任务太难’或’模型不行’，但Anthropic建议先检查任务描述是否模糊，评分器是否配错。
CORE-Bench的例子很有说服力：Opus 4.5最初只得42%，研究人员发现是死板评分、模糊任务说明、随机性任务无法复现等问题。修复这些bug后，分数飙升至95%。
多层防护
Anthropic采用瑞士奶酪模型作为评估策略。每一层防护都有漏洞，但多层叠加后，失败穿透所有层的概率大大降低。这套’多层防线’包括自动化Eval、生产监控、A/B测试、用户反馈、人工读transcript、系统性人工研究等。
没有任何单一方法能catch所有问题。多层组合才是正解，这些方法对应不同的开发阶段，形成完整的质量保障体系。
行业影响
Anthropic正通过这篇文章建立行业标准。引用了众多外部benchmark（SWE-bench、Terminal-Bench、τ-Bench等），提到了多个合作伙伴（Descript、Bolt、Qodo等），列出了大量开源框架（Harbor、Promptfoo、Braintrust等）。
这传递了一个明确信号：评估不是可选项，是必选项。整个行业都在往这个方向走，Anthropic作为头部玩家，正在定义所谓’正确做法’的模样。
Anthropic的评估体系不仅是技术指南，更是行业质量标准的奠基之作。它解决了Agent开发中的根本性问题，为整个行业指明了方向。未来，随着更多公司采用这套方法论，AI Agent的开发将更加规范化、可靠化。如何在具体业务中落地这套体系，将成为每家Agent公司必须思考的问题。
