什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

One4D框架:统一4D世界生成与重建的探索

当前视频扩散模型虽能生成逼真影像,却因缺少三维几何建模而限制了其在机器人、自动驾驶等领域的应用。One4D框架的出现打破了这一瓶颈,它首次实现了用一个模型同步生成RGB视频与几何视频,并统一了4D内容生成与重建任务,为构建可交互的4D世界提供了新基础。

One4D框架:统一4D世界生成与重建的探索智能速览

  • One4D是一个统一4D生成与重建的框架,可同步输出RGB与几何视频。

  • 提出DLC技术,通过解耦LoRA控制解决多模态训练的互相干扰问题。

  • 设计UMC机制,用一套模型覆盖单图生成、稀疏帧重建等多种任务。

  • 在单图到4D生成任务上,动态性指标显著优于同类模型。

  • 在视频重建任务上,性能表现超越部分专用重建方法。

  • 为世界模型和具身智能等前沿应用提供了更实用的基础能力。

One4D框架:统一4D世界生成与重建的探索精华内容

One4D的核心创新在于其精巧的算法设计,它如何通过解耦控制与统一条件,在保持视频质量的同时精准学习4D几何,是其实现统一的关键。

多模态同步输出

One4D的核心构想是将动态4D场景表示为两种同步的输出模态:RGB frames(外观)与Pointmaps(XYZ)。Pointmap是一种与RGB视频对齐的3通道几何视频,每个像素存储XYZ坐标值。

通过这一设计,模型不仅能生成视觉上逼真的视频,还能输出精确的几何信息。这些Pointmap数据可以进一步转换为深度图,并结合后处理技术估计相机轨迹,最终可视化为动态的4D点云序列。这一能力使得生成的内容不仅能被观看,还能被理解和用于空间计算。

解耦LoRA控制

在基于视频扩散模型进行“RGB+几何”多模态联合建模时,直接拼接会导致严重的跨模态干扰,尤其是在低资源微调场景下,几何学不好,RGB质量也易被拖垮。

为解决此问题,One4D提出Decoupled LoRA Control(DLC)。它为RGB与Pointmap分别挂载专属的LoRA模块,形成两条解耦的计算分支,共享冻结的底座模型参数,但前向传播过程独立进行。随后,通过少量zero-initialized的控制连接(control links)在对应层间建立通信,让两个模态从零开始学会互相控制,从而实现像素级的精确对齐。

统一掩码条件

为了用同一个视频模型统一4D生成与重建,One4D提出了Unified Masked Conditioning(UMC)机制。该机制将不同类型的输入条件,如单张图、稀疏视频帧、完整视频,统一打包成一个条件视频。

缺失的帧用0填充,并使用一个mask张量来明确指定哪些帧需要模型生成。通过改变输入帧的稀疏度,模型便能平滑地在纯生成(单图输入)、混合生成与重建(稀疏帧输入)以及纯重建(完整视频输入)任务之间切换,无需改动模型结构,极大地提升了框架的通用性与实用性。

性能全面领先

实验结果充分验证了One4D的有效性。在单图到4D生成任务中,与4DNeX等模型对比,One4D在一致性、动态性、美学、深度质量等用户偏好维度全面领先。在量化指标上,其VBench动态性得分达到55.7,远超4DNeX的25.6。

在完整视频4D重建任务上,One4D在Sintel和Bonn数据集上的表现明显超过MonST3R和CUT3R等专业重建方法,并与生成几何标注的Geo4D模型效果相近。此外,在相机轨迹估计上也保持了可用精度,证明了其统一框架的强大能力。

One4D的统一框架标志着视频生成从“好看”向“可用”的关键一步,它让模型开始理解并构建可用于交互的4D世界。随着这类技术的持续演进,我们离真正能够进行物理仿真和具身智能交互的数字世界还有多远?

评论

评论区空态插画

当前文章无评论,是时候发表评论了