具身操作领域长期受困于高质量标注数据的稀缺。RoboInter项目应运而生,通过开源23万条附带十余种中间表征的机器人轨迹数据,为连接高层规划与底层执行提供了关键的数据基础,有望加速具身智能的研究进程。
智能速览
RoboInter为23万条真实机器人轨迹提供了10余种逐帧密集标注。
它以中间表征为桥梁,统一了具身操作中规划与执行的对齐问题。
项目还生成了210万量级的VQA数据集,用于模型闭环训练与评测。
研究验证了三种“先规划再执行”的VLM-to-VLA新范式。
论文、代码及数据集已全链路开源,供学界使用。
精华内容
具身智能的“大脑”与“小脑”如何协同?RoboInter通过构建统一的数据桥梁和衍生范式,为这一难题提供了系统性的解决方案。
海量标注数据
RoboInter项目构建了一个大规模且高质量的具身操作数据集,其核心包含了23万条来自真实世界的机器人轨迹,并完整覆盖了DROID数据集。与以往多数数据集仅提供简单的图像-指令-动作三元组不同,RoboInter为每一条轨迹数据都提供了超过10种逐帧的密集中间表征标注。这些标注包括子任务拆解、2D轨迹、物体检测框和可供性信息等,极大地丰富了数据的可用性,为模型学习更精细的操控策略提供了可能。
统一表征桥梁
该工作的另一大特色是提出了统一的中间表征桥梁。通过将子任务、2D轨迹、检测框等作为核心媒介,RoboInter在数据和模型层面实现了高层规划(大脑)与底层执行(小脑)的有效对齐。这种设计旨在解决具身操作中长期存在的“规划什么”与“如何执行”的脱节问题,为构建更泛化的智能体奠定了理论与数据基础。
衍生数据与范式
为进一步推动模型能力评估,项目团队定制了规模高达210万条样本的VQA(视觉问答)数据集,覆盖了29种不同的任务。该数据集能够支持主流的VLM和VLA模型进行中间表征的理解与生成能力的闭环训练与端到端评测。基于此,研究还深入探索并验证了三种“先规划再执行”的VLM-to-VLA技术范式,展示了数据在驱动新方法探索上的应用潜力。
全链路技术闭环
RoboInter不仅提供数据,更打造了一个全链路的技术闭环方案。这涵盖了从高效的数据标注工具,到多格式的数据集发布,再到面向大模型能力的标准化评测体系。通过这种系统性的构建,项目对具身操作领域的“增量数据”进行了统一化定义,为后续研究提供了可复现、可扩展的基础设施,降低了研究门槛。
RoboInter的开源标志着具身操作领域基础建设的一大步,它为连接规划与执行提供了宝贵的数据财富和思路。有了高质量的数据,具身世界模型的下一个突破口会在哪里?