RoboAlign:基于GRPO的双阶段框架解决具身智能模态鸿沟
具身智能模型当前面临的主要挑战在于“大脑”的高级推理与“躯体”的物理执行之间存在模态鸿沟。即便模型具备优秀的空间与时序推理能力,在将逻辑转化为底层物理坐标与抓取指令时仍表现不佳。单纯强化语言推理并不能保证动作执行的准确性,甚至可能导致性能下降。RoboAlign 提出了一种双阶段训练框架,旨在通过物理动作准确度直接评估并修正模型的思考过程,从而弥合这一差距。
01双阶段训练框架与技术原理
- 监督微调阶段(SFT)
利用188万条多模态数据进行基础能力构建,结合 FAST 动作 Token 化技术将连续的三维轨迹转换为离散的词表 Token。这一过程赋予模型 3D 空间意识,使其能够像处理文字一样精准描述机械运动,建立零样本的动作推理基础。 - 强化学习对齐阶段(GRPO)
引入 GRPO(Group Relative Policy Optimization)算法,不再以语言优美度,而是以动作准确度作为奖励信号。只有当模型的推理路径导向与真实机械臂轨迹吻合的 FAST Token 时,才能获得高分,从而实现测试时推理与物理执行的深度对齐。
02实验表现与性能提升
| 测试场景 | 基线模型成功率 | RoboAlign 成功率 | 性能提升 |
|---|---|---|---|
| LIBERO 仿真综合测试 | 73.9% | 86.8% | 提升 17.5% |
| Calvin 长周期任务 (第5步) | 15%-18% | 22.2% | 解决注意力涣散 |
| Franka Research 3 真实机械臂 | 32.3% | 66.7% | 相对提升 106.6% |
RoboAlign 在不同场景下的性能表现
消融实验对比了不同的对齐策略:高层语言对齐成功率为 83.6%,2D 视觉轨迹对齐为 85.1%,而 RoboAlign 直接与底层 3D 动作 Token 对齐达到了最高的 86.8%。这表明直达物理执行层的反馈是解锁复杂任务潜力的关键。此外,在 Qwen2-VL 等不同基座上的应用也证明了该方案的架构无关性。
03核心优势与特征分析
传统微调 vs RoboAlign 对齐
RoboAlign 表现特征
- 拒绝灾难性遗忘:在动作成功率提升的同时,完美保留了通用大模型的原有能力。
- 基础素质协同增强:在 MMSTAR、RoboSpatial 等基础榜单上表现优于许多定制化具身模型。
- 特征聚类更清晰:KNN 分析显示,模型对底层物理状态的感知区分能力从 39% 激增至近 70%。
传统 SFT 监督微调局限
- 泛化能力断崖式下跌:仅靠 SFT 进行对齐时,跨环境泛化成功率仅为 67.7%。
- 模态鸿沟难以弥合:单纯优化语言逻辑无法解决物理坐标与抓取指令的准确性问题。
当前文章无评论,是时候发表评论了