AI Agent从60分到90分的跨越，常陷入凭感觉优化的黑盒。本文揭示了如何借鉴Anthropic的评估体系，通过结构化测试和可量化的指标，让每一次迭代都有据可依，告别盲目飞行。
智能速览
AI Agent优化陷入“盲目飞行”的困境，无法量化改动效果。
建立评估体系是应对Agent不确定性的工程化解法。
Trace追踪用于洞察请求全貌，让问题可追溯。
评估器应结合代码评分与模型评分，兼顾效率与质量。
从项目初期就应开始沉淀和维护评测集与Bad Case。
精华内容
如何将评估体系落地，让Agent的每一次优化都清晰可见、效果可衡量？
优化困境
AI产品经理最大的痛点，在于如何让Agent从60分提升至90分。尽管通过调整提示词、优化召回等单点改进，似乎能提升质量，但上线后数据却无显著变化。这种无法确定改动是否带来全局优化的状态，被称为“盲目飞行”，仿佛在没有仪表盘的黑盒中凭直觉下注。
Trace与评测
应对不确定性的核心是工程化拆解。一次评估就是一次结构化测试。评测用例包含输入和期望输出，用于比对实际结果。而Trace则记录了单次请求的全过程，包括意图识别、知识库召回等所有节点。它的目标是让开发者看清内部发生了什么，在出现问题时能定位根源。
评估器选择
评分器是评估体系的核心，主要有两种。代码评分器最快、最便宜且客观，擅长判断“有没有”、“对不对”等确定性指标。但对于开放式问题的答案质量评估则无能为力。模型评分器（LLM As Judge）能理解自然语言，适合评估开放式答案质量，但其本身的不确定性和高昂成本是其主要局限。
落地策略
Anthropic强调应尽早开始，从项目第一天就沉淀评测集，不断积累Bad Case。建设评估指标时，应优先采用确定性评分，如信息提取的完整性、准确性，仅在答案质量环节引入模型评分。目前比较折中的方案是代码与人工/模型质检相结合，在保证效率的同时兼顾评估的真实性。
建立评估体系是Agent走向成熟的必经之路，它让优化告别直觉。通过追踪死因和评测护航，才能实现从60分到90分的稳步提升。那么，你的团队准备好从第一天开始追踪和评测了吗？
