什么值得买App下载 App ›
连续签到专享现金活动

京东做出来了!融合真机、仿真与Ego数据!

机器人自主性在开放世界环境中的应用面临数据多样性不足和跨实体泛化能力差的限制。现有的机器人数据集通常在规模和任务覆盖上有限,而不同机器人之间的显著差异妨碍了有效的行为知识转移。针对这些挑战,京东推出了JoyAI-RA,这是一个针对可泛化机器人操控的视觉-语言-动作具身基础模型。JoyAI-RA采用多源多级预训练框架,整合了网络数据、大规模自我中心人类操作视频、模拟生成的轨迹和真实机器人数据,通过统一动作空间,有效弥补了人类操控与机器人控制之间的差距。
01核心创新与技术架构
  • VLA基础模型
    提出JoyAI-RA,用于开放世界设置的视觉-语言-动作具身基础模型,旨在实现可泛化的机器人操控。
  • 多源多级预训练
    设计统一训练流程,整合网络数据、自我中心人类操作视频、模拟轨迹和真实机器人数据。
  • 动作空间统一
    通过多源异构预训练,减少实体间差距,改善跨实体行为转移能力。
02多源数据训练策略
数据来源数据类型核心作用
多模态网络数据视觉问答对增强模型的感知和语言先验
EgoLive自我中心人类操控数据提供丰富的任务覆盖和细粒度注释
模拟数据模拟生成的轨迹补充实际操作学习,提供可控的行为监督
JDAgibot真实机器人数据捕捉物理部署中的接触不确定性与硬件约束

JoyAI-RA四大核心数据源及其功能定位

03模拟与实测表现
在模拟基准测试中,JoyAI-RA展现了强大的性能。在RoboTwin 2.0和Robocasa GR1 Tabletop任务上,模型在Easy和Hard设置下分别达到了90.48%和89.28%的成功率,并在多个代表性任务上实现了100%的成功率,表明其在多样化操控模式中具备有效的建模能力。此外,在真实世界的AgiBot基准测试中,JoyAI-RA也显示了其在实际部署条件下的强大性能。
JoyAI-RA通过整合多源异构数据并统一动作空间,有效解决了机器人跨实体泛化的难题,提升了具身智能在开放世界环境中的应用潜力。

评论

评论区空态插画

当前文章无评论,是时候发表评论了