张大妈

一分钟内场景重建!快速收敛的实时3DGS:从噪声SLAM到精准SfM的高效重建

源自知乎:3D视觉工坊

02-04 18:59

实时3D高斯溅射(3DGS)重建因计算效率与收敛速度的瓶颈而难以广泛应用。本文针对SIGGRAPH Asia 3DGS挑战赛的一分钟时限,提出了一套高效解决方案。通过优化渲染流程、改进场景表示并辅以多视图与深度监督策略,该方法成功在极短时间内从噪声SLAM或精准SfM数据中重建出高保真三维场景,为实时3D重建技术提供了新的思路。

一分钟内场景重建!快速收敛的实时3DGS:从噪声SLAM到精准SfM的高效重建智能速览

  • 采用紧凑边界框与负载均衡策略,显著提升前向渲染效率。

  • 引入高斯级反向传播,有效减少线程冲突,加速训练。

  • 初赛阶段使用神经高斯表示和姿态优化,应对噪声SLAM数据。

  • 决赛阶段回归标准3DGS,利用多视图引导和深度监督加速收敛。

  • 两阶段异构方案最终以PSNR 28.43的成绩获得挑战赛第一名。

一分钟内场景重建!快速收敛的实时3DGS:从噪声SLAM到精准SfM的高效重建精华内容

实现一分钟内的3DGS重建,不仅需要对渲染管线进行深度优化,更需根据数据特性动态调整场景表示与训练策略。下文将分阶段剖析这套高效解决方案的核心技术。

渲染管线加速

前向渲染中,细长高斯会产生大量无关分块,造成计算浪费。为此,采用解析方法推导出紧凑边界框,仅保留与椭圆相交的分块。为解决不同高斯导致的线程分化问题,引入负载均衡策略,在同一线程束内均匀分配任务,使效率大幅提升。

反向传播中,像素级并行策略导致线程冲突。改用高斯级并行策略,每32个溅射记录累积梯度,最后统一写入全局内存,显著减少了内存访问冲突,训练速度得以加快。

初赛:噪声姿态处理

面对初赛含噪声的SLAM姿态和稀疏点云,采用神经高斯表示。将高斯属性由锚点特征通过MLP推理,大幅减少可学习参数,加速收敛。同时,结合单目深度估计和前馈3DGS模型,对初始锚点进行致密化,为快速收敛提供更好起点。

此外,引入全局姿态优化模块,通过学习统一的变换增量来修正SLAM轨迹误差,有效提升了在噪声姿态下的渲染质量。

决赛:精准姿态优化

决赛阶段拥有精准的COLMAP姿态,优化重点随之改变。姿态优化模块被关闭,神经高斯模型因其MLP推理开销也被舍弃,回归标准3DGS以追求极致速度。

为弥补收敛速度的损失,引入多视图一致性分数引导高斯致密化与剪枝。该方法能快速将计算资源分配到高误差区域,并剔除冗余基元。同时,在训练初期引入单目深度监督,引导重建快速贴近正确几何表面。

实验成果与排名

在RTX 4090 GPU上的实验表明,组合优化策略能将训练时间显著缩短。初赛消融实验显示,移除姿态优化或神经高斯模型均会严重影响重建质量(PSNR从25.48降至更低)。决赛实验则证明了关闭姿态优化、启用多视图引导和深度监督的方案最优,PSNR达到28.72。最终,该方法以28.43的PSNR值夺得挑战赛冠军。

该方案为实时3DGS重建提供了一个兼具速度与精度的成功范例,其核心在于根据数据条件动态调整技术栈。随着相关技术持续发展,一秒级乃至更低延迟的实时高保真三维重建是否将走进现实?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章