自动驾驶仿真依赖高效4D场景重建,但传统方法耗时,前馈式方法质量差。浙大与华为提出的EVolSplat4D算法,通过创新架构,首次实现速度、精度与几何一致性的兼顾,为大规模仿真铺平道路。
智能速览
EVolSplat4D仅需1.3秒即可完成一个场景的重建。
其渲染速度达到82.46 FPS,比特斯拉方案快近20倍。
采用三分支架构,分别处理近距静态、动态和远景区域。
在四大主流数据集上,其精度与速度均领先同类前馈方法。
经过1000次微调,其精度可超越需耗时数十分钟的逐场景优化方法。
支持实例级场景编辑与几何结构分解等下游应用。
精华内容
如何破解4D场景重建中速度、精度与一致性的‘不可能三角’?EVolSplat4D给出了一份答案。
技术背景痛点
自动驾驶仿真对4D场景重建有三大诉求:大规模泛化、实时交互与几何精度。然而,现有技术难以兼顾。以NeRF和3D高斯溅射(3DGS)为代表的逐场景优化方法,虽能实现照片级渲染,但重建一个场景耗时45分钟甚至数小时,效率极低,无法满足海量场景需求。
而前馈式方法虽将重建时间压缩至秒级,却因采用逐像素高斯表示,在多视角融合时易出现几何不一致的“多层伪影”,尤其是在动态场景中表现不佳,存在模糊和拖影问题。
三分支核心架构
EVolSplat4D的创新在于“分而治之”,将城市场景拆分为三个组件,并设计专属重建模块。其输入仅需稀疏相机图像和LiDAR预测的3D边界框。
分支一针对近距静态区域,采用体积式3D高斯预测,从根本上解决多视角一致性问题,PSNR达到23.36dB。分支二针对动态车辆,通过目标中心规范空间分离实例,再用运动调整IBR模块补偿跟踪噪声,精准还原运动轨迹。分支三处理远处场景,通过跨视角注意力聚合信息,保证背景真实感。
性能全面领先
在KITTI-360、Waymo等四大数据集上,EVolSplat4D展现出压倒性优势。在50%图像缺失的KITTI-360静态场景测试中,其PSNR达到23.36dB,渲染速度为82.46 FPS,是EDUS方法的589倍,内存占用仅10.98GB。
在动态场景测试中,其优势更明显。在Waymo数据集上PSNR为26.32dB,LPIPS仅0.121,远优于STORM。更关键的是,经过1000次微调(耗时3分40秒),其PSNR达到28.29dB,全面超越需要45分钟重建的SUDS等方法。
场景应用展望
该技术不仅速度快精度高,其解耦的表示方式还支持多种应用。例如,可以轻松替换场景中的特定车辆,或将所有动态物体移除,实现仿真场景的快速定制。
同时,它能清晰分解近距、动态和远景,为自动驾驶下游任务提供结构化数据。目前该方案仍依赖LiDAR边界框,未来若能集成纯视觉3D检测,或支持非刚性物体重建,应用前景将更为广阔。
EVolSplat4D不仅是技术指标的突破,更重塑了自动驾驶仿真的效率边界。它让大规模、高保真的虚拟测试成为可能,未来将如何加速更安全智能的驾驶算法落地?