传统准确率指标已难以衡量复杂任务的Agent表现。通过解读TravelPlanner与TripTailor两篇论文，揭示了Agent评测体系如何从满足硬约束的可行性，向注重用户体验的合理性进阶，为C端产品迭代提供了新思路。
智能速览
传统准确率指标在复杂任务规划中已失效。
TravelPlanner通过硬约束验证方案的逻辑可行性。
TripTailor引入合理性评估，关注用户软体验。
分层级评估体系构建了从可行到合理的闭环。
旅行规划成为评测Agent复杂能力的典型场景。
精华内容
当Agent从简单的问答走向复杂的“任务规划”时，传统的准确率指标已失效，新的评测体系亟待建立。
评测痛点
传统评测主要依赖准确率，但在旅行规划等复杂任务中，Agent需要执行多步推理和工具调用。单纯的结果正确已不足以衡量能力，流程的合理性和用户体验成为关键瓶颈。
硬逻辑验证
TravelPlanner（ICML2024）提出了针对旅行场景的评测基准，重点考察Agent是否能满足时间、地点、预算等“硬约束”。这种评测方式确保了生成方案在逻辑上的可行性，避免了不可执行的计划。
软体验评估
TripTailor（ACL2025）在此基础上进一步深化，引入了“合理性”评估维度。它不再局限于方案能否执行，而是考察计划是否符合用户偏好和常识，从“硬逻辑”迈向了“软体验”。
助力产品迭代
这种分层级的评估体系构建了从可行性到合理性的完整闭环。对于C端产品而言，这不仅能发现Agent的硬伤，更能优化交互体验，从而推动产品在实际应用场景中的快速迭代。
这两篇论文展示了Agent评测从“能用”到“好用”的思维跃迁。未来，随着评测体系的不断完善，AI Agent将在复杂任务中展现更强的落地能力，真正解决用户的实际痛点。
