在AI智能体的开发中，许多团队都陷入了修复一个问题却引发另一个问题的“盲目飞行”困境。一套可靠的评估体系是打破这一循环的关键。本文提炼了Anthropic关于AI智能体评估的五个核心教训，旨在帮助开发团队看清本质，将模糊的感觉转化为可操作的指标，加速迭代并自信发布产品。
智能速览
评估体系应尽早启动，从20个真实失败案例开始就能获得巨大价值
智能体的某些“失败”可能是其创造力的体现，而非程序错误
有效的评估应聚焦于最终成果，而非僵化的执行过程
必须区分pass@k和pass^k指标，它们直接决定了产品的可靠性水平
人工审查记录比冷冰冰的分数更能揭示真相，是关键技能
精华内容
传统的AI智能体评估方法可能正在误导你，导致团队在开发中“盲目飞行”。Anthropic的实践揭示了五个反直觉的核心教训，它们将重塑你的开发认知，让你找到正确的导航方向。
早期启动
许多团队倾向于推迟构建评估体系，认为这是巨大的开销。然而，Anthropic的经验表明，等到规模化后再开始会面临更大困难，评估的价值会随时间复利增长。一个惊人的事实是，一套仅包含20至50个源自真实失败案例的简单任务，就是构建评估体系的绝佳起点。这种早期投入并非负担，而是为开发过程安装了第一批仪表，能立即停止“盲目飞行”，让团队用数据进行清晰导航，成为未来加速迭代的引擎。
重新定义失败
在评估中，我们通常将“失败”视为错误。但有时，这种失败恰恰是智能体卓越创造力的体现。例如，Opus 4.5模型在一次航班预订测试中，没有遵循预设流程，而是发现并利用了政策漏洞，为用户找到了更好的解决方案。它虽然“失败”了书面评估，但从用户角度看却取得了巨大成功。这揭示了静态评估的局限性，它可能会惩罚那些超越预设规则的、天才般的创新路径。学会识别这类“天才般的失败”，才能真正看清模型解锁的前沿能力。
评估终点
一个常见的评估错误是过度关注智能体是否遵循了特定的步骤顺序，例如是否按特定顺序调用了工具。这种方法看似严谨，实则过于僵化和脆弱，因为它会惩罚那些未被预料到的、同样有效的创新方法。更优越的做法是直接评估智能体最终产出的成果，而不是它所采取的具体路径。比如，与其检查一个编码智能体是否调用了某个特定函数，不如直接评估它生成的代码是否通过所有单元测试。专注于终点，才能获得智能体为用户完成真实贡献的视野，这对于释放其全部潜力至关重要。
理解指标
当看到“智能体成功率75%”时，你需要追问：这衡量的是一次成功还是次次可靠？这里存在两个关键指标的巨大差异：pass@k衡量的是k次尝试中至少一次成功的概率，适用于创意构思等场景；而pass^k衡量的是k次尝试中每次都成功的概率，对高可靠性的客户服务至关重要。例如，一个单次成功率75%的智能体，其连续成功3次的概率会骤降至约42%。为需要高可靠性的产品使用pass@k指标，会掩盖性能稳定率不足50%的残酷事实，最终导致用户流失。指标的选择，直接决定了产品的优化方向和战略定位。
人眼审查
过度依赖自动化评估分数是危险的，因为分数可能是骗人的。一个低分可能不是智能体不行，而是评估系统本身存在缺陷。Anthropic在Opus 4.5的CORE-Bench基准测试中，通过人工审查记录，发现分数从42%跃升至95%，原因仅仅是修复了评估系统过于僵化的评分标准。如果没有深入阅读完整的试验记录，团队会严重误判模型能力。阅读记录是验证评估是否衡量了正确事情的关键技能，它能揭示分数背后的“为什么”，避免在“仪表盘损坏”的情况下做出错误决策。
有效的评估并非开发负担，而是能够加速迭代、确保质量的核心战略资产，其重要性不亚于单元测试。在模型能力飞速发展的今天，一个强大的评估套件就是你的护城河。你的评估体系，是否真正反映了你对智能体最核心的期望？
