上交大开源InfiniteVGGT，打破长序列3D重建显存瓶颈

针对长序列3D视觉几何重建中显存爆炸与灾难性遗忘的难题，上海交通大学团队提出了InfiniteVGGT框架。该方案通过基于Key-Diversity的滚动记忆机制，在固定显存预算下实现了无限长视频流的高精度重建，并发布了万帧级Long3D Benchmark填补评估空白。

智能速览

• 提出InfiniteVGGT框架，解决长序列3D重建显存爆炸与遗忘问题

• 引入基于Key-Diversity的滚动记忆机制，筛选高价值Token

• 兼容FlashAttention加速，实现低延时推理，不影响速度

• 首次发布万帧级别连续序列Long3D Benchmark

• 在7-Scenes、NRGBD等数据集上重建精度达到SOTA水平

精华内容

3D重建在长序列处理中面临两难：保留历史信息导致显存爆炸，丢弃信息则产生漂移。InfiniteVGGT的破局之道在于“筛选历史”，利用生物记忆般的“新陈代谢”机制，实时以高价值特征置换冗余信息。

滚动记忆机制

传统KV Cache瘦身依赖注意力权重，但在3D重建中，相邻帧视角变化极小导致注意力图相似，存在大量冗余。InfiniteVGGT通过可视化发现，Key向量在特征空间的分布能有效衡量信息丰富度。因此，它不需要知道Query关注谁，只看Key的独特性，通过计算极快的多样性评分来筛选记忆。

资源错配解决

传统Transformer将显存预算均匀分配给每一层，导致深层显存过剩（存了重复语义Token）、浅层显存不足（丢失几何细节）。InfiniteVGGT针对不同层采用自适应预算分配，确保浅层保留关键的几何细节，深层存储语义信息，解决了资源错配问题。

万帧级新基准

现有的7-Scenes或ScanNet数据集帧数较短，无法验证无限重建能力。团队构建了Long3D Benchmark，包含万帧级别的连续序列。实验显示，InfiniteVGGT在长序列上超越了TTT3R、CUT3R等流式方法，且误差积累幅度最小，展现了极高的重建精度。

端到端路线

与“短期重建+后处理优化”的拼接方案相比，端到端的InfiniteVGGT摆脱了对后处理的依赖，序列越长速度优势越明显。虽然目前两类方法各有千秋，但端到端方案能持续受益于数据规模扩展的增益，是更具长远潜力的技术路线。

InfiniteVGGT为边缘计算设备上的移动机器人提供了鲁棒的几何基座，使其能突破系统重置限制，实现长时视界导航。结合新基准，该工作为未来大规模3D场景理解奠定了基础，端到端方案的数据扩展潜力值得期待。