主动感知与操控的SaPaVe
在复杂多变的动态场景中,传统视觉-语言-动作(VLA)模型因过度依赖固定且近乎最优的视角,导致在面对遮挡或视野外目标时性能大幅下降。SaPaVe框架通过解耦相机与操控动作空间,提出了一种自底向上的两阶段学习策略,旨在统一语义驱动的主动感知与视角无关的鲁棒操控执行,使机器人能够主动调整观察角度并完成复杂任务。
01核心架构:解耦动作头与相机适配器
SaPaVe框架的核心技术创新在于“解耦动作头”与“相机适配器”的设计。研究团队并未将相机运动简单合并到现有的操控动作空间中,因为这会破坏大规模固定视角数据中蕴含的操控先验。相反,该框架通过两个独立的解码器分别处理不同维度的动作。
| 组件名称 | 功能描述 | 技术细节 |
|---|---|---|
| 解耦动作头 | 分别预测相机与机械臂动作序列 | 通过两个独立解码器,分别输出相机头部(2自由度俯仰与偏航)与机械臂及手部(26自由度关节位置增量)的动作 |
| 相机适配器 | 将高层语义指令转化为连续相机位姿 | 利用LoRA技术在预训练VLM基础上微调,通过大规模语义相机运动数据集训练,不改动原始权重 |
SaPaVe核心架构组件对比
02关键技术:通用空间知识注入
为增强模型在视角快速切换下的鲁棒性,SaPaVe引入了通用空间知识注入模块。该模块采用现成的、具备几何感知能力的编码器,将3D几何信息转化为空间令牌融入VLM输出流。
- 几何信息转化
使用MapAnything编码器,将深度图和相机内外参等3D几何信息转化为空间令牌 - 信息融合方式
以元素相加的方式将空间令牌融入VLM的输出流中,注入空间先验 - 性能提升效果
不仅提升了语义相机移动的准确性,更显著增强了主动视角下的操控精度,使模型在非中心化视角下依然能稳定执行动作
03训练策略:两阶段学习与联合监督
SaPaVe的训练遵循严格的两阶段策略,从感知对齐到操控微调,逐步提升机器人的能力,并防止在学习复杂任务时遗忘基础感知技能。
| 阶段 | 目标 | 数据集 | 优化重点 |
|---|---|---|---|
| 第一阶段:语义主动感知对齐 | 训练机器人具备寻找目标物的“摄影师”能力 | ActiveViewPose-200K(包含20万对图像-语言-相机运动) | 专注于训练相机适配器 |
| 第二阶段:主动操控微调 | 防止遗忘感知技能,实现复杂操控 | 混合数据集(相机运动数据、机器人操控仿真数据、真实世界演示数据) | 使用加权损失函数,对26自由度操控空间和相机运动空间进行联合监督 |
SaPaVe两阶段训练策略详情
当前文章无评论,是时候发表评论了