人形机器人爬楼时,速度与稳定难以兼得,纯强化学习快但易失控,传统规划稳但速度慢。一项名为FastStair的新研究提出创新方法,通过将落脚可行性作为安全先验注入训练,成功让机器人实现了高速且稳定的动态爬楼,为机器人运动控制提供了新思路。
智能速览
人形机器人在楼梯上难以同时实现高速与稳定。
核心创新是将落脚可行性作为安全先验注入训练过程。
采用三阶段训练结构,先学稳定再学高速。
基于GPU的并行规划,大幅提升训练效率。
仿真与实机测试均表现出色,成功爬上17cm高楼梯。
精华内容
这项突破性研究究竟是如何运作的?其关键在于一套精心设计的训练框架与高效的落脚规划算法,它们共同赋予了机器人前所未有的运动能力。
安全先验新思路
传统方法存在明显短板:纯强化学习(RL)可以学到高速动作,但稳定性依赖隐式奖励,在楼梯这类离散接触地形上容易失效;而基于模型的落脚规划能保证稳定,但生成的动作往往过于保守,限制了速度。
FastStair的核心创新在于,它并非让RL自行试探安全边界,也不是让规划器直接控制动作,而是将落脚的可行性作为一个“安全先验”注入到训练过程中。这种方法作为一种并行、低开销的引导器,在训练期指导策略学习,从而在保证安全的前提下探索更高效的动作。
三阶段训练结构
为实现上述目标,研究设计了三阶段训练流程。首先是安全预训练阶段,在RL训练中并行引入一个基于倒立摆模型(DCM)的落脚规划器,通过GPU进行离散搜索生成可行的落脚点,并以此作为跟踪奖励来约束策略网络的学习。
其次是速度专化阶段,针对不同速度下的动作分布差异,分别训练了低速专家策略(-0.3–0.8m/s)和高速专家策略(0.8–1.6m/s)。最后是专家融合阶段,采用LoRA(Low-Rank Adaptation)技术将两个专家策略融合,消除了速度切换时的不连续性,最终得到一个覆盖全速度区间的统一、平滑的策略。
高效落脚规划器
这个并行运行的落脚规划器是实现高效训练的关键。它基于变高度倒立摆模型,并用DCM(Divergent Component of Motion)的解析形式来描述机器人动力学。
规划器会从一个1.8米×1.2米的局部高程图中生成候选落脚点,并通过Sobel梯度与足底尺寸进行卷积计算,以评估坡度代价。为了提升效率,原本的连续优化被改写为GPU并行离散搜索,在4096并行环境下,单次规划耗时仅约4毫秒。落脚点规划结果不直接作为控制指令,而是通过跟踪奖励来监督策略,避免了硬约束导致的动作僵硬。
实测性能卓越
在仿真环境中,面对25厘米高的台阶,FastStair在0.5、1.0、1.5、2.0米/秒的速度下均取得了最高的通过率。即使在训练范围之外的2.0米/秒区间,成功率依然超过70%。在楼梯场景中,其前向速度的平均绝对误差(MAE)约为0.5米/秒,性能优于无规划的RL和AMP方法。
更重要的是,并行规划使训练效率提升了约25倍。在真实的LimXOli人形机器人上,该方法无需任何额外的实机微调,便实现了1.65米/秒的上楼速度,仅用12秒就完成了33级、高17厘米的螺旋楼梯挑战。
FastStair方法为人形机器人在复杂地形上的高速运动提供了行之有效的解决方案,展示了模型学习与先验知识结合的巨大潜力。未来,随着技术迭代,机器人能否在各种人类环境中实现无缝、高效的运动?这令人期待。