传统机器人强化学习受限于物理世界的成本与效率。RISE框架提出了一种创新思路：将训练迁移至可学习的“想象空间”，让机器人在虚拟环境中进行大规模策略优化，实现了自我进化，并在多项复杂任务中取得了突破性性能，为规模化机器人训练开辟了新路径。
智能速览
RISE框架将训练迁移至虚拟的想象空间，突破了物理环境的限制。
组合式世界模型通过协同动力学与价值模型，提供稳定细粒度的反馈。
在虚拟空间中进行on-policy强化学习，避免了高成本的物理交互。
价值模型融合进展回归与TD学习，显著提升了长时序任务的鲁棒性。
在三项真实复杂操作任务上，成功率均超过85%，大幅领先基线模型。
精华内容
RISE框架的核心在于构建一个可学习的组合式世界模型，让机器人得以在虚拟的“想象空间”中高效地自我进化与优化策略。
组合式模型
RISE框架的基石是一个组合式世界模型，它将世界建模巧妙地拆分为“动力学模型”与“价值模型”两部分。
动力学模型负责根据当前状态和动作，预测未来的多视角状态，形成对物理世界演化的模拟。价值模型则专注于评估当前进展与未来奖励，判断动作的好坏。
二者协同工作，生成高质量的优势信号，为策略优化提供了稳定且细粒度的反馈，解决了传统方法中奖励稀疏或不稳定的难题。
想象中训练
该框架的核心创新之一是在“想象空间”中进行on-policy强化学习。
传统方法需要机器人与物理世界进行大量的串行交互，成本高昂且效率低下。RISE通过在虚拟世界模型中进行大量rollout，生成了带有优势标签的海量训练数据。
这种“想象式”的训练方式，使得策略可以直接进行优势条件训练，实现了真正的在线学习与优化，却几乎不增加物理硬件的交互成本与损耗。
价值模型优化
为提升长时序任务的稳定性，RISE的价值模型采用了“进展回归”与“Temporal-Difference（TD）学习”相融合的设计。
TD学习保证了数值计算的稳定性，而进展回归则对任务进展的细微变化，尤其是接触失败等关键错误，更为敏感。
这种结合让模型既能宏观把握长期回报，又能微观捕捉即时失败，从而显著提升了机器人在执行如背包打包这类长序列任务时的鲁棒性。
任务实测表现
RISE框架的价值最终在真实世界的复杂任务中得到了验证。
研究团队选取了动态分拣、背包打包和盒子封装三项极具挑战性的任务进行测试。结果显示，采用RISE框架的机器人在这三项任务中的成功率分别达到了85%、85%和95%。
与RECAP、PPO等主流强化学习基线相比，其性能表现获得了显著提升，证明了该框架在实际应用中的有效性与优越性。
RISE框架通过“想象”这一巧妙构思，有效破解了机器人强化学习在现实世界中的规模化难题。它不仅提升了训练效率和任务成功率，更展现了世界模型在具身智能领域的巨大潜力。未来，机器人是否能够完全在虚拟世界中掌握所有物理技能？
