大模型数据应用评测难度高，传统方法与实际业务效果易脱节。为解决评测效率低、维度单一等痛点，构建了一套三层自动化评测框架。该框架覆盖从技术选型到研发迭代，再到端到端业务效果的全链路评估，并结合Text-to-SQL和深度研究两大场景，提供了极具参考价值的技术方案与实践经验。
智能速览
评测 Data Agent 面临领域特殊性与静态评测脱节的挑战。
提出三层评测框架：基础能力、组件评测、端到端效果。
Text-to-SQL 评测可采用基于语义等价的 AST 与图匹配技术。
评测“深度研究”类 Agent 可采用 Agent 评测 Agent 的思路。
统一评测平台通过数据飞轮与自定义工作流，提升迭代效率。
未来将探索评估驱动开发（EDD），让评测反向驱动模型训练。
精华内容
面对评测的复杂性与业务需求的快速变化，如何构建一套既科学又高效的自动化评测体系？一套分层设计的评测框架及其技术创新，为数据智能体的精准评估提供了新思路。
评测之痛与挑战
在数据领域应用大模型，评测的挑战尤为突出。首先是领域特殊性，模型普遍擅长写 Python，但在 SQL 生成上明显吃力，且数据“正确性”要求极高，数值错误可能造成严重后果。其次，传统评测维度单一，如同高考分数无法完全代表综合能力，通用评测分数无法反映 Agent 在复杂业务中的真实水平。最后，业务与产品快速迭代，评测集难以跟上变化，导致静态评测与线上实际效果脱节，用户体感与评测分数不符。
三层评测体系
为应对上述挑战，提出了一套三层评测框架。最下层是基础能力评测，用于技术选型，通过 Benchmark 设定模型准入门槛，筛选出在工具调用、数值计算、Text-to-SQL 等核心能力上达标的模型。中间层是组件评测，类似单元测试，将 Agent 拆解为召回、规划、执行等子模块，定位问题根源，高效迭代。最上层是端到端效果评测，构建贴近真实业务场景的评测集，衡量 Agent 在完整任务链路中的最终表现，确保评测结果与业务价值对齐。
Text-to-SQL 实战
Text-to-SQL 是 Data Agent 的核心场景，但传统评测方法局限性明显。基于执行结果的正确性易因测试数据不全产生误判；基于文本相似度的方法无法处理语义等价但写法不同的 SQL。为此，我们探索了基于语义等价的评测方法。借助 Apache Calcite 将 SQL 下推为统一的执行语法树，抹平表面差异；再训练一个图匹配网络（GMN）计算语法相似度。该方法在业务应用中效果显著，相比传统方法，准确性与召回率均有大幅提升，已成为数据领域的核心评测算法之一。
评测深度研究 Agent
对于能自动生成分析报告的“深度研究”类 Agent，评测维度更为复杂，需评估分析深度、可读性与稳定性等。这里引入了“用 Agent 评测 Agent”的思路。其可行性基于三点：挑错比做对容易、可复盘过程、可定向优化。技术上，采用自我反思与多 Agent 协作的 Critic Agents 架构，让评测系统先按标准打分，再进入反思环节复查。例如，系统曾准确发现报告中因缺少 GROUP BY 导致的数据聚合错误，这种细粒度校验能力远超人工。离线实验显示，机评在事实性错误上的召回率超过 88%，准确性达到 86%。
平台支撑与未来
为支撑评测体系，内部搭建了统一的评估平台。平台不仅提供数据集管理与标注功能，还引入“数据飞轮”，持续将线上日志沉淀为评测集，保证评测的时效性。特色功能包括可复用的评测算子和可视化“评估工作流”，业务方可通过拖拽编排，快速搭建定制化的评测链路。展望未来，核心方向是“评估驱动开发”，将评测指标与 Agent 各模块能力深度关联，并探索用自动化评测结果反向驱动模型训练，从而更高效地指导技术迭代与业务决策。
这套三层评测框架与技术创新，为数据智能体的科学评估提供了系统化的方法论与实践路径。通过自动化技术，它不仅提升了评测效率，更拉近了评测与真实业务效果的距离。未来，评估驱动的开发模式或将重塑大模型应用的迭代范式，如何更好地利用评测结果反哺模型，是值得持续探索的方向。
