评估AI Agent的效能是构建可靠系统的关键，但如何选择合适的评分器却是一大难题。深入剖析代码、模型与人类三类核心评分器，能帮助开发者在成本、效率与准确性之间找到最佳平衡点，构建更科学的评估体系。
智能速览
代码评分器速度快且成本低，适合检查执行逻辑，但不理解语义。
模型评分器能理解语义，性价比高，但可能被关键词欺骗且结果非确定性。
人类评分是评估的黄金标准，能处理复杂任务，但成本高昂且速度缓慢。
精华内容
选择合适的评分器是AI Agent评估体系成败的关键，不同的评分器在成本、速度和准确性上各有侧重。
代码评分器
代码评分器是评估体系中的基础工具，其最大优势在于极快的响应速度和几乎为零的边际成本。它通过预设的确定性规则，对Agent的输出结果进行精确匹配或格式校验，非常适合用于检查任务是否完成、API调用是否正确等执行性检查。
然而，它的局限性也十分明显：由于完全依赖硬编码逻辑，它无法理解语义的细微差别，容易被Agent通过关键词堆砌等方式“欺骗”，显得非常脆弱。
模型评分器
模型评分器利用另一个大语言模型（LLM）来判断Agent的输出，巧妙地解决了代码评分器无法理解语义的痛点。它能够处理更复杂的任务，例如通过自然语言断言来评估答案质量，或进行成对比较以确定最优回复。
相较于人类评分，其成本更低、速度更快。但模型评分并非万能，其评估结果具有一定的非确定性，且Agent可能通过迎合模型的偏好来“钻空子”，因此在关键场景下仍需人工校准。
人类评分
人类评分被公认为评估的“黄金标准”，尤其在处理开放式任务、定义伦理风险和判断主观性问题时，具有不可替代的价值。专家审查能提供最深刻的见解，而众包模式则可以在短时间内收集大量多样化的反馈。
这种方式的权威性极高，但其高昂的成本和缓慢的执行速度，使其难以大规模应用。因此，人类评分通常定位为顶层校准工具，用于定期审核和校准自动化评分体系。
没有单一的完美评分器，最优的评估策略往往在于组合运用。将代码、模型与人类评分器有机结合，才能构建一个既高效又可靠的AI Agent评估闭环。未来的评估体系将如何进化？
