当前大型语言模型在数据领域的表现评估多局限于简单任务。DAComp基准测试的出现，通过模拟企业级全生命周期数据处理流程，首次揭示了顶尖数据智能体在复杂工程任务上的真实短板，为理解其能力边界和发展方向提供了全新视角。
智能速览
DAComp是首个覆盖数据智能全生命周期的企业级基准测试。
它包含210个任务，首次引入仓库级数据工程评估。
评估框架分为“硬核工程”与“软性分析”两个维度。
研究发现顶尖智能体在复杂工程任务上成功率低于20%。
当前瓶颈在于全局管道编排和开放式业务推理能力。
精华内容
DAComp基准测试的出现，不仅仅是为评估数据智能体提供了一个新工具，更重要的是，它像一面镜子，照出了当前技术在实际应用中的真实能力和潜在困境。
全生命周期覆盖
传统的Text-to-SQL等基准测试过于简化，难以反映企业真实场景。DAComp通过构建210个任务，实现了对数据智能体从数据工程到数据分析的全生命周期评估。其创新之处在于首次引入了仓库级的数据工程任务，涵盖了架构设计、系统实现乃至需求演进等多个层面，填补了现有评估体系的空白。
双轴评估框架
为更精准地衡量能力，DAComp提出了独特的双轴评估框架。“硬核维度”聚焦工程真实性，要求智能体处理数千行代码和复杂依赖，考验其代码实现与系统构建能力。“软性维度”则关注分析开放性，通过开放式业务问题，评估其业务理解与逻辑推理水平。
不足20%的成功率
基准测试结果揭示了当前顶尖数据智能体的严峻挑战。在处理仓库级的数据工程任务时，即便是表现最好的模型，其成功率也未能超过20%。这一数据清晰地表明，现有技术距离实现真正自主的企业级数据智能尚有巨大鸿沟。
瓶颈何在
研究进一步发现，问题的核心并非代码生成能力不足。智能体能够编写单个代码片段，但在进行全局管道编排时表现糟糕，难以将多个步骤有机串联。同时，在面对开放式业务需求时，其推理能力的匮乏也暴露无遗，这是未来技术突破的关键方向。
DAComp的价值在于它提供了一个更严苛、更接近实战的“考场”。它不仅指出了当前数据智能体的能力短板，也为未来的研究指明了方向。下一个突破点会是在管道编排能力上，还是在更深层次的业务理解上？
