在3D场景理解领域,如何让AI快速从少量图像中生成可交互的语义3D模型是一大难题。一项名为FLEG的新技术为此带来突破,它能从未标定的任意视角图像中,实时重建出带有语言理解的3D高斯模型,且无需依赖3D标注数据,大大降低了技术门槛和应用成本。
智能速览
FLEG是一个前馈网络,可从任意视角图像重建语义3D模型。
该模型创新性地采用3D标注免费的训练框架,降低了数据成本。
它引入实例引导对比学习和分层稀疏化策略,提升了效率和语义精度。
FLEG支持2到32个输入视角,实现“一个模型,任意视角”的灵活性。
该技术在机器人导航、AR/VR等实时应用中展现出巨大潜力。
精华内容
FLEG模型的核心价值在于其创新的设计理念,它如何同时实现高效、灵活与低成本?其技术路径值得深入探究。
现有技术瓶颈
当前主流方法面临两大挑战。基于3D高斯溅射的优化方法虽能构建语言场,但需要逐场景耗时数分钟甚至数小时的优化,且在稀疏视角下性能急剧下降。而前馈重建方法虽快,却难以实现高保真新视角合成与语义嵌入,且大多依赖固定输入视角。更关键的是,这些方法都严重依赖稀缺的3D标注数据。
无标注训练框架
FLEG的核心创新在于其3D标注免费的训练框架。该框架利用预训练的3D基础模型VGGT生成点云图和相机位姿作为几何先验,在训练过程中通过视图掩码选择新视角进行蒸馏,从而完全避免了对昂贵3D标注数据的依赖,为利用海量2D视频数据打开了大门。
语义对齐新策略
为丰富语义嵌入,研究团队构建了InstanceMV-14K大规模数据集,包含2D多视角图像及实例掩码。并提出了实例引导的对比学习策略,专注于实例级线索,将2D语义信息与3D高斯表示精准对齐,显著降低了前馈训练的时间复杂度,并提升了模型对具体物体的理解能力。
分层稀疏化提效
针对密集视角下像素级3D表示导致高斯冗余、语义嵌入增加内存和计算成本的问题,FLEG引入了几何-语义分层稀疏化策略。该策略利用语义的固有稀疏性,通过稀疏各向同性高斯来嵌入语义信息,在保持重建和语义嵌入质量的同时,将资源消耗降至更低水平。
性能与应用
实验结果表明,FLEG在多个任务上均超越现有方法。它不仅能支持新视角合成、开放词汇对象查询和3D编辑,还能处理从2到32个不等的任意输入视角,实现了真正的灵活性。其高效性和低数据依赖特性,使其特别适合机器人导航、操作以及增强/虚拟现实等实时应用场景。
FLEG模型通过其创新的训练框架和策略,成功解决了高效、高保真语义3D重建的关键挑战。它不仅推动了学术研究的前沿,更为机器人、AR/VR等领域的实时应用铺平了道路,预示着人机3D交互的新可能。
当前文章无评论,是时候发表评论了