张大妈

具身数据新突破!ICLR26工作RoboInter开源!

源自小红薯:Hao Li

02-14 11:53

具身操作领域长期受困于高质量标注数据的稀缺。RoboInter项目应运而生,通过开源23万条附带十余种中间表征的机器人轨迹数据,为连接高层规划与底层执行提供了关键的数据基础,有望加速具身智能的研究进程。

具身数据新突破!ICLR26工作RoboInter开源!智能速览

  • RoboInter为23万条真实机器人轨迹提供了10余种逐帧密集标注。

  • 它以中间表征为桥梁,统一了具身操作中规划与执行的对齐问题。

  • 项目还生成了210万量级的VQA数据集,用于模型闭环训练与评测。

  • 研究验证了三种“先规划再执行”的VLM-to-VLA新范式。

  • 论文、代码及数据集已全链路开源,供学界使用。

具身数据新突破!ICLR26工作RoboInter开源!精华内容

具身智能的“大脑”与“小脑”如何协同?RoboInter通过构建统一的数据桥梁和衍生范式,为这一难题提供了系统性的解决方案。

海量标注数据

RoboInter项目构建了一个大规模且高质量的具身操作数据集,其核心包含了23万条来自真实世界的机器人轨迹,并完整覆盖了DROID数据集。与以往多数数据集仅提供简单的图像-指令-动作三元组不同,RoboInter为每一条轨迹数据都提供了超过10种逐帧的密集中间表征标注。这些标注包括子任务拆解、2D轨迹、物体检测框和可供性信息等,极大地丰富了数据的可用性,为模型学习更精细的操控策略提供了可能。

统一表征桥梁

该工作的另一大特色是提出了统一的中间表征桥梁。通过将子任务、2D轨迹、检测框等作为核心媒介,RoboInter在数据和模型层面实现了高层规划(大脑)与底层执行(小脑)的有效对齐。这种设计旨在解决具身操作中长期存在的“规划什么”与“如何执行”的脱节问题,为构建更泛化的智能体奠定了理论与数据基础。

衍生数据与范式

为进一步推动模型能力评估,项目团队定制了规模高达210万条样本的VQA(视觉问答)数据集,覆盖了29种不同的任务。该数据集能够支持主流的VLM和VLA模型进行中间表征的理解与生成能力的闭环训练与端到端评测。基于此,研究还深入探索并验证了三种“先规划再执行”的VLM-to-VLA技术范式,展示了数据在驱动新方法探索上的应用潜力。

全链路技术闭环

RoboInter不仅提供数据,更打造了一个全链路的技术闭环方案。这涵盖了从高效的数据标注工具,到多格式的数据集发布,再到面向大模型能力的标准化评测体系。通过这种系统性的构建,项目对具身操作领域的“增量数据”进行了统一化定义,为后续研究提供了可复现、可扩展的基础设施,降低了研究门槛。

RoboInter的开源标志着具身操作领域基础建设的一大步,它为连接规划与执行提供了宝贵的数据财富和思路。有了高质量的数据,具身世界模型的下一个突破口会在哪里?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐