机器人精准操作依赖丰富的空间线索,传统单目视觉存在局限。银河通用推出的 StereoVLA 模型,创新性地引入双目视觉技术,通过融合几何与语义特征,显著提升了机器人的空间感知能力和指令遵循性能,为具身智能发展提供了新思路。
智能速览
StereoVLA 模型充分利用立体视觉几何线索
新颖的几何-语义特征提取模块增强空间感知
融合立体视差几何特征与单目语义特征
交互区域深度估计辅助任务加速模型收敛
多项任务显著超越基线且对位姿变化鲁棒
精华内容
立体视觉虽能模拟人类双目视觉提供关键空间信息,但在视觉-语言-动作模型中的应用尚浅。StereoVLA 的出现填补了这一空白。
双目视觉优势
立体相机紧密模拟人类双目视觉,能为机器人提供对精准操作至关重要的丰富空间线索。
尽管具备显著优势,立体视觉在现有视觉-语言-动作模型中的应用仍处于探索不足的状态。
特征提取创新
StereoVLA 提出了新颖的几何-语义特征提取模块。该模块通过视觉基础模型提取并融合两类关键特征:从立体视角细微差异中获取几何特征以增强空间感知能力;从单目视角提取语义丰富特征以提升指令遵循性能。
深度估计辅助
为进一步强化空间感知并加速模型收敛,银河通用设计了交互区域深度估计辅助任务。这一设计有效利用了深度信息,使模型在面对复杂环境时能更准确地判断物体位置。
性能显著超越
大量实验表明,该方法在立体视觉设定下的多项任务中显著超越基线模型。
特别是在面对相机位姿变化时,展现出了强大的鲁棒性,证明了其在实际应用场景中的稳定性。
StereoVLA 通过双目视觉技术的引入,有效解决了机器人在空间感知上的痛点,将具身智能的交互能力提升到了新高度。未来,随着立体视觉在更多场景的落地,机器人能否像人类一样灵活地处理复杂任务?值得期待。