实时3D高斯溅射(3DGS)重建因计算效率与收敛速度的瓶颈而难以广泛应用。本文针对SIGGRAPH Asia 3DGS挑战赛的一分钟时限,提出了一套高效解决方案。通过优化渲染流程、改进场景表示并辅以多视图与深度监督策略,该方法成功在极短时间内从噪声SLAM或精准SfM数据中重建出高保真三维场景,为实时3D重建技术提供了新的思路。
智能速览
采用紧凑边界框与负载均衡策略,显著提升前向渲染效率。
引入高斯级反向传播,有效减少线程冲突,加速训练。
初赛阶段使用神经高斯表示和姿态优化,应对噪声SLAM数据。
决赛阶段回归标准3DGS,利用多视图引导和深度监督加速收敛。
两阶段异构方案最终以PSNR 28.43的成绩获得挑战赛第一名。
精华内容
实现一分钟内的3DGS重建,不仅需要对渲染管线进行深度优化,更需根据数据特性动态调整场景表示与训练策略。下文将分阶段剖析这套高效解决方案的核心技术。
渲染管线加速
前向渲染中,细长高斯会产生大量无关分块,造成计算浪费。为此,采用解析方法推导出紧凑边界框,仅保留与椭圆相交的分块。为解决不同高斯导致的线程分化问题,引入负载均衡策略,在同一线程束内均匀分配任务,使效率大幅提升。
反向传播中,像素级并行策略导致线程冲突。改用高斯级并行策略,每32个溅射记录累积梯度,最后统一写入全局内存,显著减少了内存访问冲突,训练速度得以加快。
初赛:噪声姿态处理
面对初赛含噪声的SLAM姿态和稀疏点云,采用神经高斯表示。将高斯属性由锚点特征通过MLP推理,大幅减少可学习参数,加速收敛。同时,结合单目深度估计和前馈3DGS模型,对初始锚点进行致密化,为快速收敛提供更好起点。
此外,引入全局姿态优化模块,通过学习统一的变换增量来修正SLAM轨迹误差,有效提升了在噪声姿态下的渲染质量。
决赛:精准姿态优化
决赛阶段拥有精准的COLMAP姿态,优化重点随之改变。姿态优化模块被关闭,神经高斯模型因其MLP推理开销也被舍弃,回归标准3DGS以追求极致速度。
为弥补收敛速度的损失,引入多视图一致性分数引导高斯致密化与剪枝。该方法能快速将计算资源分配到高误差区域,并剔除冗余基元。同时,在训练初期引入单目深度监督,引导重建快速贴近正确几何表面。
实验成果与排名
在RTX 4090 GPU上的实验表明,组合优化策略能将训练时间显著缩短。初赛消融实验显示,移除姿态优化或神经高斯模型均会严重影响重建质量(PSNR从25.48降至更低)。决赛实验则证明了关闭姿态优化、启用多视图引导和深度监督的方案最优,PSNR达到28.72。最终,该方法以28.43的PSNR值夺得挑战赛冠军。
该方案为实时3DGS重建提供了一个兼具速度与精度的成功范例,其核心在于根据数据条件动态调整技术栈。随着相关技术持续发展,一秒级乃至更低延迟的实时高保真三维重建是否将走进现实?