针对机器人在透明、反光物体前感知失灵的行业痛点,蚂蚁灵波科技开源了新一代空间感知模型LingBot-Depth。该模型通过创新的掩码深度建模技术,显著提升了深度补全精度,其性能超越工业级相机,为具身智能在复杂场景中的稳定操作提供了关键技术支撑。
智能速览
创新掩码深度建模(MDM)技术,攻克透明/反光物体感知难题。
在NYUv2等多个基准测试中达到SOTA水平,精度超越工业级相机。
机器人抓取透明杯成功率达80%,传统方法为0%。
与奥比中光相机深度适配,效果优于ZED等竞品。
将开源300万对RGB-D数据集,助推空间感知技术发展。
精华内容
LingBot-Depth的核心价值,在于它从软件算法层面弥补了硬件传感器的物理缺陷,开辟了一条提升空间感知能力的新路径。其技术架构与应用效果具体体现在以下几个方面:
创新技术原理
该模型采用创新的掩码深度建模(MDM)范式。训练时,模型会接收部分遮挡的RGB-深度图像对,任务是根据RGB图像预测被遮挡区域的深度值。
通过在海量数据上学习,模型掌握了从物体外观推断其几何形态与距离的“外观-几何”对应关系,从而在真实环境中补全深度传感器因光学限制而丢失的透明或反光物体信息。
卓越性能表现
在NYUv2和ETH3D等国际权威基准测试中,LingBot-Depth在深度补全、单目深度估计等任务上均达到了当前最优水平。
其深度精度与像素覆盖率两项核心指标全面超越业界顶级工业深度相机,且在处理视频流时无需显式时序建模,就能保持高度的时间一致性,有效避免了画面闪烁与结构跳变。
精准抓取验证
下游任务验证了模型的实用性。在真实机器人抓取测试中,面对传统深度相机完全失效的透明储物盒,LingBot-Depth实现了50%的抓取成功率。
对于不锈钢杯和透明杯等高挑战性物体,成功率分别达到85%和80%,显著优于原始深度数据的表现,证实了其在复杂操作场景中的可靠性。
低成本硬件赋能
该模型展现了优秀的硬件适配性。通过与奥比中光Gemini 330系列相机协同,在不更换硬件的前提下,显著提升了相机在透明玻璃、强反光等场景下的深度图完整性与边缘清晰度。
实测效果优于业内领先的ZED深度相机,为消费级设备带来了工业级的感知能力,降低了具身智能的部署成本。
LingBot-Depth的开源不仅是单一技术的突破,更是对空间感知生态的一次重要贡献。它通过算法创新解决了硬件瓶颈,为机器人在家庭、工业等复杂场景的落地应用扫清了障碍。随着未来300万对数据的开源,具身智能的发展或将迎来新的加速期。