当前机器人模仿学习常因数据对齐粗糙，难以掌握动作细节，导致面对新任务时泛化能力差。复旦大学的一项新研究为此带来突破，它将人机动作对齐视为视频生成问题，让机器人先“脑补”出自身操作视频，再从中学习如何执行，实现了看一次人类示范就能学会并泛化到全新任务的能力，为具身智能发展提供了新思路。
智能速览
传统方法因忽略帧级细节，难以实现任务泛化。
新方法将模仿学习视为条件视频生成问题，让机器人“脑补”操作视频。
通过VR远程操控构建了精准同步的大规模数据集H&R。
Human2Robot框架在已见任务上性能领先，并实现一次性泛化到新任务。
精华内容
如何让机器人不再只看“热闹”，而能看懂“门道”？关键在于让它在模仿时学会思考动作细节。复旦团队另辟蹊径，通过视频生成技术，为机器人打开了一扇理解人类操作精髓的新窗户。
传统方法的瓶颈
主流的机器人模仿学习方法，普遍存在一个核心短板：它们依赖粗粒度的人机视频对齐。这意味着模型只能理解“人大概在做什么”，却无法捕捉到完成操作所必需的细微动作。例如，在抓取任务中，机器人知道要拿起一个杯子，却不清楚手指应该在何时以何种角度和力度去闭合。这是由于许多方法会将整段视频压缩成一个固定长度的向量，导致帧级的动态信息完全丢失，自然无法学会真正的泛化能力。
视频生成的新范式
为解决此问题，研究者提出了一种颠覆性的范式：将人机动作对齐视为一个条件视频生成问题。其核心思路是，让机器人观察人类示范后，不是直接预测动作，而是先“脑补”生成一段自己应该如何执行该任务的视频。这个过程迫使模型必须逐帧学习动作的演化逻辑和细节，从“知道做什么”升级到“理解怎么做”，从而内化了任务的物理规律和操作技巧。
精准数据集H&R
要训练如此精细的模型，精准对齐的数据是前提。为打破“数据不足导致方法粗糙”的恶性循环，团队采用了聪明的数据采集方案。他们利用VR远程操控系统，让机械臂实时跟随人手进行同步操作。通过改进坐标系匹配，实现了“人手怎么动，机器人就怎么动”的丝滑效果。最终，他们构建了H&R数据集，包含2600段精准同步的第三视角人机操作视频，覆盖4类基础任务和6类复杂长程任务。
Human2Robot框架
基于H&R数据集，研究者提出了Human2Robot框架。这是一个两阶段方法：第一阶段，训练一个视频预测模型（VPM），让它学会根据人类示范生成对应的机器人操作视频，成为机器人的“视觉大脑”。第二阶段，冻结VPM的参数，并训练一个轻量的动作解码器。该解码器直接从VPM生成视频过程中的中间特征，解码出机器人执行任务所需的关节角或位姿，从而实现快速、精准的实时控制。
卓越的泛化能力
真实世界实验充分验证了该方法的有效性。在已见任务上，Human2Robot的成功率相比DP、XSkill、VPP等基线方法，平均保持了10至20个百分点的显著优势。更重要的是，在六种泛化场景测试中，该方法均表现领先，尤其是在面对全新任务类别时，它仅需一次人类示范即可成功执行，而其他基线方法则完全失败。这证明其具备强大的跨任务泛化能力。
这项研究将机器人模仿学习从宏观任务理解，精细推进到了微观动作学习的层面。通过让机器人“脑补”操作视频，有效解决了长期存在的动作细节学习难题，为机器人快速适应新环境、学习新技能提供了极具潜力的技术路径。未来，这种学习方式是否会成为具身智能领域的主流范式？值得持续关注。
