人形机器人在移动操作中面临位置精度和稳定性的双重挑战,微小的位置偏差就可能导致任务失败。WholeBodyVLA框架通过统一隐变量学习和操控感知的移动策略,显著降低了真机数据需求,实现了更稳定的全身协调控制。
智能速览
相机角度变化是导致任务失败的主要因素,位置泛化能力差
将velocity-based控制简化为start/stop离散控制,降低训练难度
统一隐变量学习使25条数据达到200条数据的效果
在三个任务上平均成功率78%,相比基线提升20%以上
针对locomotion和manipulation分别训练不同的LAM更有效
精华内容
人形机器人的移动操作并非简单叠加,而是需要全身协调的精密控制。现有的VLA模型在位置泛化和步态稳定性上存在明显缺陷,这促使我们重新思考控制框架的设计。
核心挑战分析
人形机器人在移动操作中面临的关键问题是位置精度和稳定性。相机角度的微小变化就会导致任务失败,因为视角永远在变化,很难覆盖所有可能的分布。
失败案例主要包括:停止过早或过晚、方向偏移、碰撞物体导致目标位置偏移等。这些因素都会使实际操作位置超出训练数据的分布范围。
实验显示,传统的velocity-based RL框架在不同速度下会产生差异巨大的步态,不稳定现象明显,增加了VLA控制的难度。
控制接口简化
针对上述问题,团队将四维velocity控制简化为二维离散控制。前三维(前后、左右、转向)从连续速度变为开始/停止指令,高度保持连续控制。
这种简化让VLA更容易学习控制策略。固定速度下,系统只需关注精确停止和位置保持,而非适应不同速度的复杂步态。
训练时增加了位置和朝向的惩罚项,对走偏行为给予更大惩罚,确保移动的精确性。
全身协调策略
为减少上半身随机运动对下半身稳定性的干扰,在RL训练第二阶段,将随机采样改为固定的操作序列。
这样系统只需在操作时保持站立或行走的稳定,而非在任意大幅度动作下都保持平衡,大幅降低了学习难度。
结合统一隐变量学习,框架能够从无标签视频中挖掘有用知识,显著减少对真机数据的需求。
实验验证结果
在箱体装载、背包打包、推车三个任务上测试,WholeBodyVLA平均成功率达到78%,相比OpenVLA和GROOT等基线提升超过20%。
消融实验表明,分离训练locomotion和manipulation的LAM比共享LAM效果提升10%。velocity-based RL会导致成功率下降至54%。
泛化性测试显示,系统能够适应不同的起始位置、物体位置,甚至处理未见过的物体。
数据效率提升
统一隐变量学习的核心价值在于大幅提升数据效率。全量预训练模型仅用25条数据就能达到未预训练模型200条数据的效果。
这种效率提升对实际部署至关重要,因为真机数据采集成本高昂。实验横轴对比了不同真机数据量,纵轴展示了不同预训练规模的效果差异。
证明了unified latent learning确实挖掘到了有价值的先验知识。