仅需8张4090!影石Insta360开源DA360,低成本刷新全景深度估计SOTA

源自公众号:PaperWeekly

01-19 12:26

全景深度估计技术在真实开放世界应用中面临泛化与尺度一致性两大挑战。Insta360 Research 提出的 DA360 模型,通过创新的算法设计,以极低的计算成本成功解决了这些问题,实现了尺度不变的高质量深度图输出,为机器人导航、自动驾驶等领域提供了强大的技术支持。

仅需8张4090!影石Insta360开源DA360,低成本刷新全景深度估计SOTA

仅需8张4090!影石Insta360开源DA360,低成本刷新全景深度估计SOTA智能速览

  • DA360 通过平移学习和环形填充技术,解决零样本泛化与尺度不一致性。

  • 在权威基准测试中,DA360 的精度全面超越现有方法。

  • 模型训练仅需8张RTX 4090,推理速度达0.26秒一张图。

  • 团队开源了包含3000个样本的室外全景深度数据集Metropolis。

仅需8张4090!影石Insta360开源DA360,低成本刷新全景深度估计SOTA精华内容

DA360 的成功并非偶然,它巧妙地融合了多项技术创新与成熟的优化策略,从而在性能与效率上实现了双重突破。以下将深入解析其核心方案。

攻克尺度难题

传统单目深度模型输出“仿射不变”结果,存在未知缩放,难以用于3D重建。DA360 的核心创新之一是引入平移学习模块,通过一个轻量MLP从ViT主干学习全局平移参数,成功将模型输出转化为具有物理意义一致性的尺度不变深度估计。这意味着其结果可直接生成度量准确的三维点云,无需繁琐的后处理,为实际应用铺平了道路。

消除全景接缝

全景图在展开为ERP格式后,其左右边界在物理上是连续的,但传统CNN无法感知这种连续性,导致深度图在接缝处出现断裂。DA360 创新性地采用环形填充技术,让卷积运算时能“看到”边界另一侧的信息,从原理上保证了ERP图左右边缘的无缝连接。这一设计彻底消除了接缝处的几何不一致性,确保了生成深度图在球形表面的连续与平滑。

性能与效率实测

DA360 在 Matterport3D、Stanford2D3D 及自建室外数据集 Metropolis 上全面领先。在最具挑战性的 Metropolis 数据集上,其相对误差(AbsRel)比 DA-V2 降低 10.5%,比最佳对比方法 PanDA 降低约 35%。δ1 指标达到 71.94%。

效率方面,DA360 训练仅需 8 张 RTX 4090,推理速度约 0.26 秒/图,远超耗时超 100 秒的传统方法。

构建新基准

为推动领域发展,研究团队构建并开源了大规模真实城市室外全景深度基准 Metropolis。该数据集包含 3000 个高质量的城市街景样本,弥补了全景深度估计领域长期缺乏权威室外评估基准的空白,为后续研究提供了关键的测试工具和数据支持。

DA360 模型以精巧的算法设计和极低的计算成本,实现了全景深度估计在零样本泛化和尺度不变性上的重大突破,为三维视觉应用提供了高性能且实用的解决方案。随着论文、代码及数据集的开源,这项工作将有力推动开放世界环境理解技术的发展。这是否预示着大规模、低成本三维重建时代的到来?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章