什么值得买App下载 App ›
连续签到专享现金活动

主动感知与操控的SaPaVe

在复杂多变的动态场景中,传统视觉-语言-动作(VLA)模型因过度依赖固定且近乎最优的视角,导致在面对遮挡或视野外目标时性能大幅下降。SaPaVe框架通过解耦相机与操控动作空间,提出了一种自底向上的两阶段学习策略,旨在统一语义驱动的主动感知与视角无关的鲁棒操控执行,使机器人能够主动调整观察角度并完成复杂任务。
01核心架构:解耦动作头与相机适配器
SaPaVe框架的核心技术创新在于“解耦动作头”与“相机适配器”的设计。研究团队并未将相机运动简单合并到现有的操控动作空间中,因为这会破坏大规模固定视角数据中蕴含的操控先验。相反,该框架通过两个独立的解码器分别处理不同维度的动作。
组件名称功能描述技术细节
解耦动作头分别预测相机与机械臂动作序列通过两个独立解码器,分别输出相机头部(2自由度俯仰与偏航)与机械臂及手部(26自由度关节位置增量)的动作
相机适配器将高层语义指令转化为连续相机位姿利用LoRA技术在预训练VLM基础上微调,通过大规模语义相机运动数据集训练,不改动原始权重

SaPaVe核心架构组件对比

02关键技术:通用空间知识注入
为增强模型在视角快速切换下的鲁棒性,SaPaVe引入了通用空间知识注入模块。该模块采用现成的、具备几何感知能力的编码器,将3D几何信息转化为空间令牌融入VLM输出流。
  • 几何信息转化
    使用MapAnything编码器,将深度图和相机内外参等3D几何信息转化为空间令牌
  • 信息融合方式
    以元素相加的方式将空间令牌融入VLM的输出流中,注入空间先验
  • 性能提升效果
    不仅提升了语义相机移动的准确性,更显著增强了主动视角下的操控精度,使模型在非中心化视角下依然能稳定执行动作
03训练策略:两阶段学习与联合监督
SaPaVe的训练遵循严格的两阶段策略,从感知对齐到操控微调,逐步提升机器人的能力,并防止在学习复杂任务时遗忘基础感知技能。
阶段目标数据集优化重点
第一阶段:语义主动感知对齐训练机器人具备寻找目标物的“摄影师”能力ActiveViewPose-200K(包含20万对图像-语言-相机运动)专注于训练相机适配器
第二阶段:主动操控微调防止遗忘感知技能,实现复杂操控混合数据集(相机运动数据、机器人操控仿真数据、真实世界演示数据)使用加权损失函数,对26自由度操控空间和相机运动空间进行联合监督

SaPaVe两阶段训练策略详情

评论

评论区空态插画

当前文章无评论,是时候发表评论了