最近一项针对3D高斯喷洒(3DGS)AI技术的实测,揭示了其将单张2D图片转化为可交互6DoF虚拟世界的潜力与挑战。该评测深入探讨了这项前沿技术在真实XR设备上的表现,从生成流程、渲染质量到应用前景,提供了客观且宝贵的实践参考。
智能速览
测试流程涉及Midjourney、Runway与Marble AI多工具协同。
主视角范围内的场景“第一眼还原度”非常高。
背离输入视角后,画面易出现模糊与漂浮物。
局部几何结构偏松散,缺乏清晰的硬边轮廓。
现阶段适用于概念预演与VR背景层等特定场景。
要实现主场景生产,还需在视角覆盖和资产化上突破。
精华内容
这项名为3D高斯喷洒的技术,如何将一张静态图片变为可漫游的立体空间?实测过程与细节为我们揭示了答案。
完整测试链路
为验证技术可行性,一条完整的测试链路被搭建起来。首先,使用Midjourney生成细节丰富的场景图,或选择AI官网的现成图片。接着,通过Runway将这些静态图片扩展为约10秒的全景推进视频,以提供多角度的观测数据。随后,将视频输入Marble AI,由其生成三维高斯喷洒场景并导出为ply格式的数据。最后,将数据导入Unity引擎进行渲染,并部署到PICO4头显中,以体验最终的6DoF效果。
观感与质量评估
在接近输入视频覆盖的主视角范围内,场景的“第一眼还原度”相当高,整体框架、物体大体位置和空间氛围都得到了基本保留。然而,一旦视角偏离观测范围,尤其绕到物体背面,画面质量便会迅速下降,出现模糊和残影现象。这本质上是由于模型仅基于有限视角进行学习。
宏观结构上,房间的整体布局较为稳定,没有出现大规模崩塌或扭曲,模型对视频外的背景也做了合理补充。但在微观层面,局部几何结构显得松散,许多物体在近看或换角度时会暴露结构问题,例如气球是瘪的、钢琴键是错乱的,缺乏清晰的点线面关系与硬边。
光照与编辑局限
当前生成场景中的光照都是静态的,无法进行实时交互。输入参考中的体积光,在高斯场景里常被处理成云状或水彩笔触式的结构,高光与折射也可能显得不自然。它更像是在“存储看起来是什么样”,而非传统3D资产的“几何+材质+灯光”可编辑模型。
在可编辑性方面,目前主要能调节渲染层面的参数,如点大小、透明度、球谐外观强度等。也可以通过裁剪等方式清理噪声。但要像传统3D资产那样“精确修模型、替换部件、做严谨碰撞”,目前还无法实现。
潜在应用场景
尽管存在局限,该技术在现阶段仍有明确的应用价值。其一,是作为概念世界的生成器,将概念图快速升级为可体验的空间样机,用于团队沟通与项目预演。其二,是在VR中作为远景或背景层,近景使用高精度网格模型,远景则用高斯喷洒补足氛围感。其三,可以利用其特有的残影与破碎感,转化为“回忆、梦境或崩塌世界”等风格化叙事的视觉语言。
综合来看,3D高斯喷洒技术在快速场景生成上展现了惊人潜力,尤其在概念设计和氛围营造方面。尽管在视角完整性、几何精度和可编辑性上仍有局限,但它无疑为虚拟内容创作提供了一种全新的高效思路。未来,随着技术突破,它是否会彻底改变我们的3D建模流程?