CVPR26 | GGPT
CVPR 2026 收录的 GGPT 论文针对前馈式稀疏视图 3D 重建中的几何一致性不足与细粒度精度有限等核心痛点,提出了一种几何引导的点 Transformer 框架。该框架通过融合可靠的稀疏几何先验与稠密前馈预测,实现了兼具几何一致性、空间完整性与精细结构还原的 3D 重建,显著提升了模型在域内与域外场景的泛化能力。
01行业痛点与现有局限
- 前馈网络局限
DUSt3R、VGGT 等前馈网络虽能通过单次前向传播快速预测稠密点图,但缺乏显式多视图几何约束,重建结果易出现多层伪影及跨视角一致性差的问题。同时,其对纹理缺失区域的恢复能力较弱,易产生空洞,导致细粒度结构重建精度不足。 - 传统方法瓶颈
基于运动恢复结构(SfM)的传统方法虽能提供几何约束,但其流程复杂且效率低下,难以与前馈模型进行高效融合,限制了在实际场景中的应用。
02GGPT 框架核心创新
GGPT 框架确立了“稀疏几何引导 + 稠密预测优化”的核心思想。首先通过改进型 SfM 流水线获取精准相机位姿与部分 3D 点云,随后利用几何引导的 3D 点 Transformer,在显式几何监督下优化前馈模型输出的稠密点图,从而实现数据驱动与几何约束的有机结合。
- 改进型 SfM 流水线
基于稠密特征匹配与轻量化几何优化,高效估计稀疏输入视图的准确相机位姿与部分 3D 点云,为后续优化提供可靠的几何先验,避免了传统 SfM 的繁琐迭代。 - 几何引导的 3D 点 Transformer
设计了优化的引导编码机制,将稀疏几何先验融入 Transformer 架构,对前馈模型(如 VGGT)输出的稠密点图进行精细化调整,强化了全局对齐与 3D 一致性。 - 部分几何监督策略
无需完整的 3D 标注,仅利用 SfM 得到的部分 3D 点云作为监督信号,引导模型修正几何偏差并填补纹理缺失区域的空洞,有效提升了重建的完整性。
03技术优势总结
| 优势维度 | 具体表现 | 技术价值 |
|---|---|---|
| 几何一致性 | 显式融入多视图几何约束 | 大幅减少多层伪影与跨视角偏差 |
| 泛化能力 | 仅在 ScanNet++ 上结合 VGGT 训练 | 适配不同架构与数据集,域外表现优异 |
| 细节还原 | 有效恢复细粒度结构 | 填补纹理缺失区域的重建 gaps |
GGPT 核心技术优势概览
当前文章无评论,是时候发表评论了