张大妈

理想:用“机器人本能”重构任务规划

源自小红薯:每日ComputerScience

02-07 16:12

传统机器人任务规划依赖人类预设的技能,在复杂环境中泛化能力差。理想汽车提出MaP-AVR方法,不再规划人类语义技能,而是直接输出机器人可执行的底层“元动作”。这种回归机器人本能的思路,结合RAG技术,显著提升了机器人在日常任务中的成功率,为具身智能的落地提供了新路径。

理想:用“机器人本能”重构任务规划智能速览

  • 用“元动作”替代人类技能,重构机器人规划空间。

  • 使用空间关系描述,降低规划精度要求,增强鲁棒性。

  • 引入RAG技术,保障规划输出的格式与稳定性。

  • 数据库可自增长,系统具备持续学习能力。

  • VLM直接参与位姿生成,无需专用抓取模型。

理想:用“机器人本能”重构任务规划精华内容

MaP-AVR的核心在于对“规划”的重新定义。它不再告诉机器人“抓起杯子”,而是分解为最基本的移动、旋转和环境关系,从根本上提升了泛化性。

元动作革新

传统方法规划的“抓取”、“放置”等技能,本质是建立在人类认知上的抽象,限制了机器人的组合能力。MaP-AVR则将规划空间重新定义为机器人底层的元动作,即一个由{移动或旋转,环境关系描述,末端执行器状态}构成的三元组。

这种直接规划机器人自身可执行动作的方式,绕过了人类经验的束缚,使得动作的组合更灵活,泛化到新场景的能力也显著增强。

关系替代坐标

在规划阶段,MaP-AVR不追求生成精确的3D坐标,而是采用“on”、“above”、“inside”这类相对空间关系来描述物体间的状态。这意味着规划器只需要做到“粗略正确”,将“把杯子放到桌子上”理解为“cup on table”即可。

这种设计将精确定位的压力下沉给了执行器,后者可以结合实时感知进行调整。这大大降低了因前期规划微小偏差导致整个任务失败的代价,提升了系统的整体鲁棒性。

RAG稳定输出

为避免大模型输出格式错误或逻辑混乱,MaP-AVR引入了RAG(检索增强生成)技术。研究人员构建了一个包含成功规划案例的数据库,在规划新任务时,系统会先检索最相似的案例,然后通过上下文学习的方式生成新的规划。

这种方法有效减少了格式错误、状态不一致和方向混淆等问题。更重要的是,当新任务成功执行后,系统会将其自动存入数据库,实现了知识库的自我迭代与增长,让系统越用越强。

VLM赋能位姿

在执行层面,MaP-AVR大胆地利用视觉语言模型(VLM)直接参与机器人末端执行器的6自由度位姿生成与筛选,摆脱了对GraspNet等专用抓取模型的依赖。

这一做法充分利用了VLM强大的通用空间理解能力,使其能更好地理解复杂场景和物体姿态,从而生成更合理的抓取或操作位姿,进一步提升了任务执行的灵活性与成功率。

实测性能飞跃

在OmniGibson仿真环境下的高复杂度日常任务测试中,MaP-AVR展现了卓越的性能。对比当前的SOTA方法Rekep,后者的成功率仅为13.75%。

而MaP-AVR在未引入RAG时成功率为11.25%,但在结合RAG进行上下文学习后,其成功率飙升至43.13%,实现了对现有技术的显著超越,证明了该方法的有效性。

MaP-AVR通过回归机器人动作本质,结合RAG与VLM,有效突破了传统规划的泛化瓶颈。这项研究不仅在仿真中取得了显著的性能飞跃,也为未来机器人在真实复杂环境中执行任务提供了富有潜力的新范式。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐