港科:360°感知的人形机器人
传统人形机器人的操控主要依赖RGB-D相机,但相机视野(FOV)有限,容易出现遮挡或“看不见目标”的问题。这导致机器人在操作过程中必须频繁移动底座以寻找目标,增加了碰撞风险并降低了操作效率。针对这一行业痛点,Omni-Manip提出了一种基于360° LiDAR感知的端到端视觉运动策略,使机器人在无需移动底座的情况下即可完成大范围操控任务,实现了真正的“超视野”操作能力。
01核心技术架构
- 全景LiDAR感知
使用360° LiDAR点云替代传统RGB-D相机,使机器人能够感知身体周围完整的三维环境,大幅扩展了可操作空间。 - TAP时间注意力池化
提出Time-Aware Attention Pooling机制,在编码点云时结合时间信息,对历史点云进行加权融合,提高了感知稳定性并降低了噪声影响。 - 扩散策略控制
利用Diffusion Policy作为动作生成器,从全景3D感知直接生成整个人形机器人的操控动作,实现端到端学习。
02数据采集与系统优势
为了支撑上述策略的有效运行,Omni-Manip构建了基于XR设备(如Meta Quest 3)的全身遥操作系统。该系统通过人类示范高效采集机器人全身协同操作数据,为模型训练提供了高质量输入。在实际应用中,该系统展现出显著的安全性与操作优势。
| 对比维度 | 传统RGB-D方案 | Omni-Manip方案 |
|---|---|---|
| 感知视野 | 有限FOV,易受遮挡 | 360°全景感知,无死角 |
| 操作方式 | 需频繁移动底座寻找目标 | 无需移动底座,原地操作 |
| 安全性 | 视野盲区易引发碰撞 | 识别视野外障碍物,全向避障 |
技术方案对比
- 1Meta Quest 3
当前文章无评论,是时候发表评论了