随着大模型发展，高质量训练数据的构建成为关键瓶颈。传统方法依赖零散脚本和经验，难以规模化。北京大学推出的 DataFlow 系统为此提供了解决方案，它通过 LLM 驱动、算子化的设计，将数据构建流程统一化、自动化，显著降低了高质量数据的生产门槛，为AI开发者提供了更高效、可复现的工具。
智能速览
DataFlow 提出了一套 LLM 驱动的数据准备系统。
将数据生成、评估、过滤等流程统一建模为可复用算子。
提供近200个算子和6条SOTA管线，覆盖多种任务。
支持 PyTorch 风格的编程接口，开发体验友好。
可通过自然语言直接生成可执行的数据流水线。
精华内容
DataFlow 的核心在于其系统设计的创新性，它如何像 PyTorch 统一模型构建一样，来重塑数据准备流程？其技术亮点和实际效用究竟如何？
统一数据抽象
DataFlow 的核心创新是将数据准备过程抽象为一种 LLM 优先的数据流。它将数据生成、评估、过滤、精修等环节统一建模为独立的算子（Operator）。
所有数据在这些算子之间通过共享存储进行流转，最终形成一个完整、可编译、可复现的数据流水线。这种设计解决了传统方法中脚本零散、逻辑混乱、难以调试的痛点，让数据构建过程变得像搭积木一样清晰有序。
丰富算子生态
为了降低使用门槛，DataFlow 内置了一个庞大的资源库。其中包含了近200个可复用的算子和6条达到SOTA（State-Of-The-Art）水平的成品管线。
这些资源覆盖了文本、数学推理、代码、Text-to-SQL、Agentic RAG 以及知识抽取等主流应用场景。开发者无需编写任务相关的“胶水代码”，即可直接复用这些高质量组件，快速构建起强大的数据处理流程，大大提升了研发效率。
开发者友好
在编程接口上，DataFlow 采用了深度学习开发者非常熟悉的 PyTorch 风格，通过 `init` 和 `forward()` 的代码优先范式进行定义。
这使得开发者可以在享受 IDE 友好提示的同时，进行静态编译检查和断点恢复执行。此外，系统还将 Prompt Template 与算子逻辑进行解耦，这意味着开发者可以轻松跨数据库、跨领域复用算子，而无需修改核心代码，极大地增强了灵活性和扩展性。
迈向自动化
DataFlow 的愿景是进一步降低数据准备的自动化门槛。其内置的 DataFlow-Agent 基于多智能体架构，允许用户直接使用自然语言描述需求。
系统能够自动完成意图解析、算子检索与合成、管线组装以及沙盒环境验证，最终生成可执行的流水线。同时，其插件化生态（DataFlow-Extensions）支持算子、模板、管线打包为 Python 扩展，方便社区贡献与协作，构建一个开放的工具生态。
北京大学的 DataFlow 系统为大模型时代的数据准备问题提供了一套系统性的解决方案。它通过标准化的抽象和丰富的生态，不仅提升了数据生产的效率和质量，更推动了该领域向自动化、工程化方向发展。这是否预示着 AI 开发的工作流将迎来一次新的变革？
