张大妈

感知 - 运动融合的全身控制框架

源自小红薯:具身智能观察猿

03-01 16:12

人形机器人在真实世界中运动的核心挑战在于如何精确感知并适应多变的地形。一项新研究提出了一套完整的全身控制框架,通过数据构建、训练优化到真实部署的闭环,显著提升了机器人在复杂地形中的运动能力与稳定性。

感知 - 运动融合的全身控制框架智能速览

  • 论文构建了“动作-地形”精准配对的定制化数据集,解决了数据稀缺问题。

  • 提出并行光线投射算法,将传感器渲染速度提升10倍,解决了训练中的感知隔离难题。

  • 设计了相对帧(T_rel)训练框架,平衡了动作模仿与环境自适应的灵活性。

  • 通过在仿真中添加真实噪声,实现了从仿真到现实的高效迁移。

感知 - 运动融合的全身控制框架精华内容

这套框架的成功,关键在于其系统性地解决了从数据到训练再到部署的每个环节的痛点,实现了感知与控制的深度融合。

精准数据对齐

研究首先解决了数据稀缺问题。通过光学动捕技术,记录了专业跑酷演员在多种地形(如三角障碍、木箱)上的核心动作,同时用LiDAR扫描地形,生成了精准的“动作轨迹-地形网格”配对数据。

随后,采用基于优化的运动学过滤技术,将这些人类动作数据重定向到拥有29个自由度的Unitree G1人形机器人上,确保了动作既符合人类运动规律,又满足机器人的物理约束。

破解感知难题

在大规模并行训练中,为避免机器人“看到”其他环境的“幽灵机器人”,论文创新性地提出了分组射线投射算法。该算法为静态地形和每个机器人分配唯一ID,预计算ID-网格映射,使射线搜索空间大幅减少,渲染速度提升了10倍。

在训练框架上,研究设计了相对帧(T_rel)。它让机器人在保持核心动作形态(如滚翻姿态)的同时,能自主调整水平位置和航向,以灵活适应不同地形。这种设计巧妙地平衡了动作跟踪的精确性和环境适配的灵活性。

闭环控制与迁移

策略网络融合了CNN编码的深度图特征和机器人本体感受特征,实现了感知与运动决策的闭环。网络输入包括1帧带噪声的深度图、8帧历史关节状态以及1秒的未来动作参考,最终输出精确的关节控制指令。

为确保仿真模型能成功应用于现实,研究在仿真环境中刻意添加了高斯噪声、反光伪影和运动模糊等真实世界常见的视觉干扰,极大地缩小了仿真与现实之间的感知差异,提升了部署成功率。

该框架为人形机器人动态运动控制提供了一套行之有效的系统性方案,从数据到算法再到部署,环环相扣。随着这类技术的成熟,未来的人形机器人将更加灵活地穿梭于各种复杂环境中,真正从实验室走向我们的生活。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐