机器人灵巧操作模型的训练长期受限于数据瓶颈。传统的遥操作成本高、扩展性差，而纯人类视频又难以精准迁移。一种名为Real-Sim-Real的新数据pipeline为此提供了解决方案，它通过真实-仿真-真实的闭环，将人类演示高效转化为适配任意机器人和视角的高质量训练数据，显著提升了技能迁移的效率和成功率。
智能速览
传统遥操作和人类视频数据难以满足机器人灵巧操作训练需求。
Real-Sim-Real数据pipeline将人类演示转化为可执行的机器人训练数据。
Dex-Tactile重定向技术解决了人类与机器人间的“具身差距”。
利用3D高斯溅射技术构建逼真场景，支持任意视角数据生成。
生成数据训练的模型任务成功率可达80%，数据采集效率提升超5倍。
精华内容
要解决机器人训练的数据瓶颈，关键在于如何低成本、高效率地获取高质量、可迁移的数据。Real-Sim-Real方案通过一套创新的技术闭环，将人类演示的潜力发挥到极致。
捕捉物理足迹
为实现精准的技能迁移，数据采集的完整性至关重要。研究人员搭建了标准化采集室，同步记录11路高清RGB视频、3路RGB-D视频、29自由度的手套关节角度以及14通道的触觉信号。这种多模态采集方式，完整捕捉了人类操作时的运动轨迹和接触力分布，为后续的技能迁移奠定了丰富的数据基础。
跨越具身差距
将人类手的动作映射到形态迥异的机器人灵巧手，是技术核心难点。Dex-Tactile重定向技术突破了传统仅关注几何对齐的局限，它同时优化运动学匹配和触觉一致性。通过精确对齐指尖位置、姿态以及接触力的分布，该技术成功将人类手部状态映射到机器人灵巧手，实测平均接触误差仅为3.86mm，有效解决了“具身差距”问题。
构建数字孪生
为了生成大规模、多视角的训练数据，逼真的仿真是关键。该方案采用3D高斯溅射技术（3DGS）快速重建出部署环境的数字孪生，作为静态背景。随后，在Isaac Sim仿真器中，将动态的机器人物体网格与静态的3DGS背景相融合，生成了照片级的训练数据，并且支持任意视角的实时切换，极大丰富了数据的多样性。
效率与成功率
实验结果验证了Real-Sim-Real方案的有效性。在10类物体的灵巧操作中，重定向轨迹在真实世界的平均成功率达到84%，对于简单几何物体甚至高达90%-100%。仅用生成数据训练的VLA模型，在拾取-放置、推动、倾倒等任务中平均成功率为80%，仅比使用昂贵遥操作数据训练的模型低20%。更重要的是，数据采集速度是传统方法的2.57-5.33倍，在叠衣服等复杂任务上效率提升超过5倍。
Real-Sim-Real方案为具身智能的规模化发展提供了一条可行路径，它大幅降低了高质量训练数据的获取门槛。这种数据生成范式的突破，或将成为加速通用机器人技能学习的催化剂，让机器人更快掌握复杂任务，其未来应用前景值得期待。
