张大妈

从运动先验中学习地形感知运动,强化学习需要几步?

源自知乎:CLEAR Lab

01-31 19:48

机器人运动控制正从平地迈向复杂地形,但传统强化学习依赖的奖励函数设计过程极其繁琐且成本高昂。一种新范式试图解决这个问题,它通过引入高质量运动先验,让机器人既能模仿动物的自然步态,又能灵活适应未知环境,为通向实用型足式机器人提供了关键路径。

从运动先验中学习地形感知运动,强化学习需要几步?智能速览

  • 传统强化学习依赖繁琐的奖励设计,成本高昂且效率低下。

  • 运动追踪虽能简化训练,但难以让机器人适应未知变化的地形。

  • 新方法利用傅里叶编码器高效压缩并学习动物运动的核心先验。

  • 高层策略通过宏观命令与微观残差,实现对运动的双重精确控制。

  • 通过策略蒸馏技术,将复杂的教师模型成功部署到实际机器人上。

从运动先验中学习地形感知运动,强化学习需要几步?精华内容

为了让机器人像动物一样在复杂地形中自如行走,我们该如何平衡其运动风格的自然性与环境的适应性?一项新研究给出了系统答案。

核心难题:奖励设计的困境

机器人运动控制领域长期面临一个核心挑战:如何让机器人在非结构化地形中流畅运动。主流的基于学习的方法,如强化学习,虽然展现了巨大潜力,但其效果高度依赖于对奖励函数的精细设计与反复调参。这一过程不仅消耗大量人力物力,而且设计出的奖励往往只适用于特定场景,泛化能力有限,成为制约技术发展的瓶颈。

新思路:从模仿到适应

为绕开奖励设计的难题,学界转向了运动追踪方法,即让机器人直接模仿高质量的参考运动数据。这种方法虽然能快速生成自然的运动姿态,但引入了新问题。参考数据通常只覆盖特定环境,机器人难以从中学习适应未知地形的能力。此外,数据本身往往缺乏环境感知信息,导致机器人无法建立动作与地形间的有效关联,因此无法实现真正的地形感知运动。

四段式框架详解

针对上述挑战,一种开创性的四段式分层学习框架被提出。第一阶段,利用傅里叶潜在动态编码器(FLD Encoder)将动物运动数据编码为结构化的潜在表示,用频率、幅值等参数高效刻画运动特征。第二阶段,低层策略基于该潜在表示和本体感知信息,在平地上进行预训练,学习复现自然的参考运动风格。

高层策略的智慧

在任务训练阶段,高层教师策略登场。它接收导航指令、机器人感知以及地形信息,输出两类控制量:一是宏观的“潜命令”,用于引导低层策略在不同步态和速度间平滑切换,如上坡时切换至更稳的步态;二是微观的“关节残差”,对低层动作进行小幅实时调整,如抬腿跨越障碍。这种设计确保了机器人在完成目标的同时,不偏离自然稳定的动物步态。

通往实用之路

最后,通过知识蒸馏技术,将依赖特权信息的教师策略迁移至仅使用常规感知的学生策略上,实现了模型的实机部署。这项工作的核心价值在于,它成功地将模仿学习带来的运动规范性与基于目标的强化学习所具备的环境适应性相结合,为机器人提供了一种既“好看”又“好用”的控制新范式。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐