张大妈

WholeBodyVLA: 面向人形机器人移动操作的全身VLA框架(2)

源自UP主:具身智能之心RoboTech

01-18 22:08

人形机器人在移动操作中面临位置精度和稳定性的双重挑战,微小的位置偏差就可能导致任务失败。WholeBodyVLA框架通过统一隐变量学习和操控感知的移动策略,显著降低了真机数据需求,实现了更稳定的全身协调控制。

WholeBodyVLA: 面向人形机器人移动操作的全身VLA框架(2)智能速览

  • 相机角度变化是导致任务失败的主要因素,位置泛化能力差

  • 将velocity-based控制简化为start/stop离散控制,降低训练难度

  • 统一隐变量学习使25条数据达到200条数据的效果

  • 在三个任务上平均成功率78%,相比基线提升20%以上

  • 针对locomotion和manipulation分别训练不同的LAM更有效

WholeBodyVLA: 面向人形机器人移动操作的全身VLA框架(2)精华内容

人形机器人的移动操作并非简单叠加,而是需要全身协调的精密控制。现有的VLA模型在位置泛化和步态稳定性上存在明显缺陷,这促使我们重新思考控制框架的设计。

核心挑战分析

人形机器人在移动操作中面临的关键问题是位置精度和稳定性。相机角度的微小变化就会导致任务失败,因为视角永远在变化,很难覆盖所有可能的分布。

失败案例主要包括:停止过早或过晚、方向偏移、碰撞物体导致目标位置偏移等。这些因素都会使实际操作位置超出训练数据的分布范围。

实验显示,传统的velocity-based RL框架在不同速度下会产生差异巨大的步态,不稳定现象明显,增加了VLA控制的难度。

控制接口简化

针对上述问题,团队将四维velocity控制简化为二维离散控制。前三维(前后、左右、转向)从连续速度变为开始/停止指令,高度保持连续控制。

这种简化让VLA更容易学习控制策略。固定速度下,系统只需关注精确停止和位置保持,而非适应不同速度的复杂步态。

训练时增加了位置和朝向的惩罚项,对走偏行为给予更大惩罚,确保移动的精确性。

全身协调策略

为减少上半身随机运动对下半身稳定性的干扰,在RL训练第二阶段,将随机采样改为固定的操作序列。

这样系统只需在操作时保持站立或行走的稳定,而非在任意大幅度动作下都保持平衡,大幅降低了学习难度。

结合统一隐变量学习,框架能够从无标签视频中挖掘有用知识,显著减少对真机数据的需求。

实验验证结果

在箱体装载、背包打包、推车三个任务上测试,WholeBodyVLA平均成功率达到78%,相比OpenVLA和GROOT等基线提升超过20%。

消融实验表明,分离训练locomotion和manipulation的LAM比共享LAM效果提升10%。velocity-based RL会导致成功率下降至54%。

泛化性测试显示,系统能够适应不同的起始位置、物体位置,甚至处理未见过的物体。

数据效率提升

统一隐变量学习的核心价值在于大幅提升数据效率。全量预训练模型仅用25条数据就能达到未预训练模型200条数据的效果。

这种效率提升对实际部署至关重要,因为真机数据采集成本高昂。实验横轴对比了不同真机数据量,纵轴展示了不同预训练规模的效果差异。

证明了unified latent learning确实挖掘到了有价值的先验知识。

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐