机器人听懂复杂指令并自主多步执行!LoHo-Manip:提升 VLA 长程操作性能
长程操作任务对于视觉语言动作(VLA)策略而言依旧极具挑战性。真实场景中的任务通常具有多步骤进程依赖的特性,且极易受到累积执行误差的影响。为解决这一问题,英伟达提出了LoHo-Manip模块化框架。该框架借助专用的任务管理大语言视觉模型(VLM),将原本仅擅长短程操作的VLA执行能力成功拓展至长程指令跟随任务中。
01框架核心:管理器与执行器解耦
LoHo-Manip框架采用任务管理器与执行器相互解耦的设计,并通过滚动视野的方式调用运行。依据当前的环境观测信息,任务管理器能够预测具备进程感知能力的剩余任务规划。该规划主要包含两部分核心内容:一是子任务序列,附带明确的已完成/待执行划分结构,作为轻量级的语言记忆模块;二是视觉轨迹,即一种精简的二维关键点轨迹提示,用于指明后续的行进位置与待靠近目标。
02运行机制:滚动视野与隐式闭环
技术特性解析
执行端VLA模型
转化决策模式
- 以渲染生成的视觉轨迹作为条件输入
- 依靠沿轨迹执行的方式,将长程决策问题转化为重复的局部控制问题
系统自适应能力
容错与重规划
- 模型在每一步都预测剩余任务规划,由此形成隐式闭环
- 执行失败的步骤会保留至后续输出中,视觉轨迹同步更新
- 无需人工设计的故障恢复逻辑,也无需易失效的视觉历史缓存模块
03实验验证:仿真与实机性能
研究人员在仿真环境与真实的Franka机械臂平台上,围绕具身规划、长程推理、轨迹预测及端到端操作开展了大量实验。实验结果表明,该方法在长程任务成功率、任务鲁棒性以及分布外(OOD)泛化能力上均取得了显著提升。
| 模型/方法 | 具身规划能力 | 长程推理能力 | 空间理解能力 |
|---|---|---|---|
| MoMaAct-7B | 基准水平 | 基准水平 | 基准水平 |
| Embodied-R1-3B | 一般 | 一般 | 一般 |
| Qwen2.5-VL-7B | 较强 | 较强 | 较强 |
| LoHo-Manip (Ours) | 显著提升 | 显著提升 | 显著提升 |
不同模型在具身基准测试中的性能对比示意
当前文章无评论,是时候发表评论了