什么值得买App下载 App ›
连续签到专享现金活动

Robo3R

机器人在执行精细操作任务时,最大的技术瓶颈在于视觉感知的准确性。传统的深度相机在面对透明、反光或小物体时,往往难以获得有效的深度信息,而现有的3D重建模型也常常无法保证真实的尺度和几何精度。针对这一行业痛点,上海AI Lab等机构联合推出了Robo3R模型。该模型摒弃了对深度相机的依赖,仅需RGB图像结合机器人自身状态,即可实时重建出高精度、具备真实尺度的3D几何结构,显著提升了机器人在复杂场景下的操作能力。
01核心原理:RGB与状态融合的实时重建
Robo3R的核心创新在于改变了传统“预测深度”的思路,转而直接输出可用于机器人操作的3D结构。在单次前向推理过程中,模型能够同步完成三项关键任务:预测局部3D几何(尺度不变性)、计算多视角相机的相对位姿,以及求解全局相似变换。这一机制能够将生成的点云统一映射到机器人的基坐标系下,从而为下游的抓取、避障和路径规划提供直接可用的真实世界几何模型。
02技术创新:专为机器人定制的结构设计
  • Masked Point Head设计
    将点云预测过程拆解为深度、射线方向和掩码三个部分。这种设计有效解决了边缘过度平滑的问题,使得模型能够精准重建出宽度仅为1-2个像素的小物体。
  • 关键点+PnP相机标定
    通过预测机器人关键点,并利用几何方法解算相机外参。相比于直接回归的方法,这种基于几何约束的解算方式显著提升了稳定性。
  • 引入机器人关节状态
    模型在推理过程中引入了机器人的关节状态信息,使其能够感知机器人的运动姿态,从而大幅提升相机位姿估计和几何对齐的精度。
03数据支撑:Robo3R-4M合成数据集
为了确保模型在真实世界的泛化能力,研究团队构建了一个超大规模的合成数据集Robo3R-4M。该数据集包含400万帧高质量渲染数据,覆盖了多样化的物体、光照条件以及材质类型,特别是包含了大量透明和反光物体样本。这种大规模且多样化的数据训练,使得Robo3R在面对现实复杂场景时,依然能够保持稳定的性能,不易因环境干扰而失效。
04实测效果:精度与成功率的全面提升
评估维度Robo3R表现对比对象(VGGT/π³/真实相机等)
3D重建精度断层领先,几何细节精准精度较低,细节丢失
尺度一致性高度一致,真实还原存在偏差,尺度不准
相机位姿估计稳定且精确误差较大,易漂移
透明/反光物体处理成功率显著提升经常失败或识别困难
运动规划能力无碰撞规划能力强复杂场景下规划受限

Robo3R与现有技术及设备在关键指标上的对比

综合实验数据显示,Robo3R在3D重建精度、尺度一致性以及相机位姿估计等核心指标上均优于VGGT、π³、MapAnything、DepthAnything3等先进模型以及真实的深度相机。在真实的机器人任务测试中,该模型不仅提高了模仿学习的成功率和仿真到现实的迁移效果,更在抓取透明、反光及微小物体,以及复杂场景下的无碰撞运动规划方面展现了显著优势。

评论

评论区空态插画

当前文章无评论,是时候发表评论了