上交:机器人为何改用鱼眼相机?
在机器人模仿学习中,视觉输入的质量直接决定了策略的效果。传统机器人系统通常使用针孔相机,但近年来,配备鱼眼相机的系统逐渐增多,尤其是在机械臂腕部安装的应用场景中。尽管鱼眼相机拥有超过180°的超大视场角,但其伴随的严重畸变对策略学习、泛化能力及跨硬件部署的影响一直缺乏系统研究。上海交通大学等机构通过大规模仿真与真实机器人实验,首次系统分析了鱼眼相机在模仿学习中的作用,并提出了可落地的数据采集与训练策略。
01鱼眼相机:优势与挑战并存
鱼眼相机 vs 针孔相机
视觉与性能提升
超大视场角(FoV)
提供超过180°的视野,在腕部视角下能捕捉更多环境特征点。空间定位增强
在特征丰富环境中,显著提升空间定位能力,使模型更易推断机械臂与物体的空间关系。天然数据增强
捕捉更大的背景变化,在运动过程中形成天然的数据增强,显著提升泛化性能。纯视觉操控
在移除机器人本体状态(如关节角)的情况下,仅依赖视觉输入仍能保持高性能。


技术部署难点
严重图像畸变
超大视场角伴随严重的图像畸变,对视觉策略的学习构成挑战。跨硬件部署难
不同鱼眼镜头会改变图像中物体的绝对尺度,策略容易过拟合训练镜头的尺度。性能骤降风险
更换镜头时,由于尺度过拟合问题,往往导致模型性能大幅下降。
02实验数据:泛化与定位的双重验证
- 空间定位能力提升
实验表明,在特征丰富的环境中,鱼眼相机提供的广阔视野使得视觉模型能够更准确地捕捉环境特征,从而显著提升机器人对自身及物体空间位置的推断能力。 - 场景泛化性能突破
鱼眼相机捕捉到的背景变化在机器人运动过程中形成了天然的数据增强。在真实实验中,随着训练场景的增加,其泛化性能提升明显,仅使用8种训练背景即可在未知环境中达到95%以上的成功率。 - 仿真环境构建
研究人员在MuJoCo中实现了鱼眼相机模拟,通过“360°球面渲染→全景图→鱼眼投影”的两阶段流程,构建了稳定高效的仿真训练环境,支持大规模策略训练。
03解决方案:随机尺度增强(RSA)
针对鱼眼相机在跨硬件部署中存在的“尺度过拟合”问题,即模型容易学习到训练镜头的绝对像素尺度而非相对空间关系,研究团队提出了随机尺度增强(Random Scale Augmentation,简称RSA)方案。该方案通过在训练过程中随机缩放输入图像,迫使模型学习物体间的相对尺度关系,而非依赖于特定的镜头参数。这一策略显著提升了模型在不同鱼眼镜头之间的泛化能力,解决了更换硬件带来的性能骤降问题。
当前文章无评论,是时候发表评论了