当前视频生成模型虽能产出精美画面，却因缺乏三维几何建模，在机器人、自动驾驶等需要世界模拟的应用中受限。港科大提出的One4D框架，通过同步生成RGB视频与几何数据，首次在单一模型内统一了4D内容的生成与重建，为构建可交互的4D世界提供了新的技术路径，有望推动下一代世界模型的发展。
智能速览
One4D首次实现单一模型同步输出RGB视频与Pointmap几何视频。
通过DLC技术有效解决了多模态联合训练中的相互干扰问题。
利用UMC机制，统一了4D生成与重建任务，可平滑切换。
在动态性与深度质量等评测上，One4D全面领先于同类模型。
精华内容
One4D的核心突破在于让视频模型从纯粹的像素生成，进化为对4D物理世界的同步生成与理解。其关键在于两项技术创新，确保了多模态输出的稳定性与任务的统一性。
4D生成的瓶颈
当前主流的视频扩散模型在生成真实感、动态性的RGB视频方面进展显著，但它们大多停留在纯像素空间，缺少对三维几何的显式建模。这一缺陷导致模型生成的视频虽然好看，却无法提供机器人、自动驾驶仿真等世界模型应用所需的场景结构信息。这些任务不仅需要理解“是什么”，还需要知道“在哪里”，因此一个能同时生成外观和几何的4D模型成为关键技术瓶颈。
解耦控制:DLC
为解决RGB与几何模态在联合训练时互相干扰的问题，One4D提出了解耦LoRA控制（DLC）。该方法为RGB和Pointmap分别设置了独立的LoRA分支，让它们在共享底层模型参数的同时，能够专注于学习各自模态的特征。为保证两者像素级对齐，DLC还设计了少量从零开始训练的控制链接，让两个模态逐步学会协同。这种设计既保留了底座模型的强大先验，又确保了几何学习的独立性和与RGB的精确对齐。
统一任务:UMC
为实现用一个模型统一4D生成与重建，One4D设计了统一掩码条件（UMC）机制。它将单张图、稀疏帧、完整视频等不同类型的输入，统一处理成一个带有掩码的条件视频。掩码会明确告知模型哪些帧需要生成。当输入是单张图时，模型执行纯生成任务；当输入是稀疏帧时，模型执行生成加重建的混合任务；当输入是完整视频时，模型则执行纯重建任务。通过这种方式，One4D无需改变网络结构，仅通过调整输入帧的稀疏度即可灵活切换任务。
性能与实测
实验结果表明，One4D在多项任务上展现出优越性能。在单图到4D生成任务中，与4DNeX相比，其动态性指标（VBench）从25.6大幅提升至55.7，并在用户偏好研究中的一致性、动态性、美学、深度质量等维度全面领先。在完整视频到4D重建任务上，One4D的深度重建精度在Sintel和Bonn数据集上超过了MonST3R等专业重建方法，并与Geo4D效果相当，证明了其统一框架的有效性。
One4D通过巧妙的技术设计，成功将视频生成从2D像素推向了可交互的4D世界，为世界模型的发展铺平了道路。当AI不仅能“看”到动态画面，还能“理解”并“构建”其背后的物理空间时，我们将迎来怎样的应用变革？
