现有AI智能体基准测试与现实脱节，难以评估长程复杂任务。AgencyBench通过32个真实场景构建了新的评估体系，揭示了模型能力与框架协同的重要性，为下一代智能体的衡量提供了更科学的标尺。
智能速览
AgencyBench是首个面向真实世界场景的AI智能体综合基准测试。
该基准包含32个场景和138个任务，平均任务耗时数小时，并实现了自动化评估。
实验结果显示，闭源模型在任务完成率上显著优于开源模型。
研究发现，智能体框架对性能有显著影响，模型与框架的协同优化是关键。
精华内容
深入探究AgencyBench的构建与发现，理解它是如何衡量智能体真实世界性能的。
现有测试的局限
当前评估自主智能体的基准测试大多集中于单一能力，无法有效衡量其在复杂、长程的现实世界任务中的表现。这种脱节导致评估结果难以反映智能体的真实应用潜力。
此外，许多评估方法严重依赖人工反馈来迭代和修正，这不仅成本高昂，也构成了可扩展性的瓶颈，严重阻碍了智能体自动化部署与大规模评估的进程。
真实场景基准
为解决上述问题，AgencyBench被设计成一个源自日常AI使用的综合基准。它通过32个精心设计的真实世界场景，评估智能体的6项核心能力。
这138个具体任务定义了明确的查询、交付成果和评分标准，平均解决一个任务需要约90次工具调用、处理100万个token，并耗时数小时，极大地提升了评测的现实性和挑战性。为自动化评估，研究团队采用用户模拟智能体提供反馈，并利用Docker沙箱进行功能与视觉评分。
模型性能对比
基于AgencyBench的实验结果清晰地揭示了不同模型阵营间的性能差距。数据显示，闭源模型的平均任务完成率达到48.4%，而开源模型则为32.1%，前者优势明显。
进一步的分析表明，不同模型在资源效率、利用反馈进行自我修正的能力，以及对特定工具的使用偏好上存在显著差异。这些发现为模型的选择和优化提供了数据驱动的参考。
框架协同效应
研究还深入探讨了智能体框架对性能的影响，发现了一个有趣的现象：专有模型在其原生生态系统中运行时表现最佳，例如Claude-4.5-Opus通过其SDK运行。
相比之下，开源模型则在不同的执行框架中表现出明显的性能峰值，这暗示了针对特定框架进行深度优化的巨大潜力，也为开源社区的发展指明了方向。
AgencyBench不仅是一个评测工具，更指明了未来发展方向。它强调了模型与智能体框架协同进化的必要性，为构建更强大的自主智能体铺平了道路。
