NeurIPS 2025 | 谷歌提出NExF:告别“过曝”“欠曝”,让神经辐射场还原真实世界光影

源自公众号:我爱计算机视觉

01-17 12:24

神经辐射场在真实光影下常因曝光不一而失效。谷歌提出的NExF技术,通过在3D空间学习最佳曝光值,有效解决了过曝和欠曝问题,显著提升了NeRF在复杂真实场景下的视图合成质量,为三维重建应用带来了新突破。

NeurIPS 2025 | 谷歌提出NExF:告别“过曝”“欠曝”,让神经辐射场还原真实世界光影智能速览

  • 传统NeRF难以处理真实场景中因相机自动曝光导致的过曝或欠曝问题。

  • 谷歌NExF技术在3D空间构建神经曝光场,为每个点学习最佳曝光值。

  • 通过潜在曝光条件化,将曝光预测与颜色渲染深度耦合。

  • 在多个数据集上测试,NExF性能超越基线超55%,且训练速度更快。

  • NExF能生成室内外光线平衡、细节丰富且3D一致的视图。

NeurIPS 2025 | 谷歌提出NExF:告别“过曝”“欠曝”,让神经辐射场还原真实世界光影精华内容

NExF的精妙之处在于将曝光问题从2D图像处理提升到3D场景理解,用一种全新的思路攻克了传统NeRF的短板。

NeRF的曝光困境

NeRF技术虽在视图合成上表现出色,但在现实应用中却面临巨大挑战。其核心假设是所有输入照片的光照条件基本一致,然而现实中相机为捕捉细节会自动调整曝光。

这导致同一场景的照片可能明暗差异巨大,有的为看清暗部而提高曝光,导致亮部过曝;有的为保留高光而降低曝光,又让暗部欠曝。传统NeRF面对这些曝光不一致的数据时,重建出的三维模型质量会严重下降,常出现局部过曝成白板或欠曝成漆黑一片的现象。

3D空间的曝光场

NExF的创新思路是跳出2D图像层面,直接在3D空间中解决曝光问题。它构建了一个与神经辐射场并行的“神经曝光场”,并在训练中与NeRF网络进行端到端的联合优化。

在训练阶段,模型不仅学习场景的几何与颜色,还学习为3D空间中每一个点预测一个理想的曝光值。这个预测值通过体渲染与输入图像的真实曝光时长进行比较,计算出损失。在推理生成新视角时,模型不再依赖任何外部曝光参数,而是直接调用自己预测出的3D曝光场来指导渲染,确保最终输出图像在任何位置都曝光均匀、细节清晰。

深度耦合机制

NExF一个关键技术点是“潜在曝光条件化”。模型预测出的最佳曝光值并非一个简单的后期调整参数,而是被编码成一个潜在向量,作为条件输入到NeRF网络的颜色预测头部。

这种设计使得模型能够根据预测的“理想曝光”来动态调整渲染颜色,实现了曝光与颜色的深度耦合。模型不再是被动地适应光照,而是主动地理解并渲染出在理想曝光下应有的颜色,从而获得更加真实和和谐的视觉效果。

快、准、稳的效果

实验结果充分证明了NExF的优越性。在HDRNeRF和Eyeful Tower等多个具有挑战性的真实世界数据集上,NExF无论是在定量指标还是定性效果上均达到了业界领先水平(SOTA)。

定量数据显示,NExF相比此前最好的基线方法,性能提升超过55%,同时训练速度也更快。从定性对比图来看,面对室内外光线差异巨大的场景,基线方法要么天空过曝,要么室内漆黑,而NExF则能完美平衡亮部与暗部,生成细节丰富、光影和谐且3D一致的图像,效果甚至优于单次曝光拍摄的真实照片。

NExF通过“升维”思路,为NeRF在真实世界的应用扫清了关键障碍,其高效、高质量的特性预示着三维重建技术将更广泛地应用于街景、测绘等领域。这种在3D空间学习物理属性的方法,还能解锁哪些新可能?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章