什么值得买App下载 App ›
连续签到专享现金活动

机器人听懂复杂指令并自主多步执行!LoHo-Manip:提升 VLA 长程操作性能

长程操作任务对于视觉语言动作(VLA)策略而言依旧极具挑战性。真实场景中的任务通常具有多步骤进程依赖的特性,且极易受到累积执行误差的影响。为解决这一问题,英伟达提出了LoHo-Manip模块化框架。该框架借助专用的任务管理大语言视觉模型(VLM),将原本仅擅长短程操作的VLA执行能力成功拓展至长程指令跟随任务中。
01框架核心:管理器与执行器解耦
LoHo-Manip框架采用任务管理器与执行器相互解耦的设计,并通过滚动视野的方式调用运行。依据当前的环境观测信息,任务管理器能够预测具备进程感知能力的剩余任务规划。该规划主要包含两部分核心内容:一是子任务序列,附带明确的已完成/待执行划分结构,作为轻量级的语言记忆模块;二是视觉轨迹,即一种精简的二维关键点轨迹提示,用于指明后续的行进位置与待靠近目标。
02运行机制:滚动视野与隐式闭环

技术特性解析

执行端VLA模型

转化决策模式

  • 以渲染生成的视觉轨迹作为条件输入
  • 依靠沿轨迹执行的方式,将长程决策问题转化为重复的局部控制问题
系统自适应能力

容错与重规划

  • 模型在每一步都预测剩余任务规划,由此形成隐式闭环
  • 执行失败的步骤会保留至后续输出中,视觉轨迹同步更新
  • 无需人工设计的故障恢复逻辑,也无需易失效的视觉历史缓存模块
03实验验证:仿真与实机性能
研究人员在仿真环境与真实的Franka机械臂平台上,围绕具身规划、长程推理、轨迹预测及端到端操作开展了大量实验。实验结果表明,该方法在长程任务成功率、任务鲁棒性以及分布外(OOD)泛化能力上均取得了显著提升。
模型/方法具身规划能力长程推理能力空间理解能力
MoMaAct-7B基准水平基准水平基准水平
Embodied-R1-3B一般一般一般
Qwen2.5-VL-7B较强较强较强
LoHo-Manip (Ours)显著提升显著提升显著提升

不同模型在具身基准测试中的性能对比示意

评论

评论区空态插画

当前文章无评论,是时候发表评论了