视频世界模型迎来重大突破，VerseCrafter通过创新的4D几何控制技术，实现了对相机运镜和多物体运动的精准协同控制，解决了现有视频模型在3D空间一致性和多维度控制方面的核心难题。
智能速览
VerseCrafter实现统一4D几何控制，精准指挥相机与多物体运动
创新采用3D高斯轨迹表示，提供类别无关的软性运动控制
结合Wan2.1主干网络和轻量级GeoAdapter，保持高质量生成
构建VerseControl4D数据集，填补真实世界4D控制数据空白
实验结果超越现有SOTA方法，在动态场景控制表现优异
支持多视角一致性生成，为游戏和电影制作提供新可能
精华内容
视频生成技术的核心挑战在于如何将2D平面表现与4D真实世界有效连接，VerseCrafter通过创新的几何控制方法实现了这一突破。
核心技术突破
VerseCrafter的核心理念是构建统一的4D几何世界状态来驱动视频生成。系统利用静态背景点云表示环境几何，同时为每个物体设计3D高斯轨迹编码运动。相比于传统的刚性3D边界框，3D高斯轨迹提供了一种软性、灵活且类别无关的表示方式，其均值定义运动路径，协方差捕捉物体随时间变化的形状和方向，能够描述汽车、行人、动物等各种物体在3D空间中的占据情况。
架构设计亮点
系统采用冻结的Wan2.1-T2V-14B作为视频先验，配合轻量级GeoAdapter实现控制注入。首先将4D几何控制信息渲染为2D序列图，包括背景RGB/深度、物体高斯轨迹RGB/深度和控制掩码。GeoAdapter对这些几何信息进行编码，作为残差注入到Wan2.1的特定DiT模块中。这种设计既保留了Wan2.1强大的生成能力，又以极小代价引入了精确的4D控制，避免了从头训练大模型的巨大开销。
数据集构建
为解决4D标注数据稀缺问题，团队构建了VerseControl4D数据集，包含35,000个训练视频片段。数据源基于Sekai-Real-HQ和SpatialVID-HQ等高质量视频数据集，结合Qwen2.5-VL-72B生成描述、Grounded-SAM2进行物体分割、MegaSaM估计深度和相机位姿，构建自动化标注引擎。这一数据集填补了真实世界4D几何控制数据的空白，为模型训练提供了坚实基础。
实验性能对比
在动态场景联合控制测试中，VerseCrafter展现出显著优势。Perception-as-Control生成的帧质量较低且运镜不准，Yume缺乏精确相机控制，Uni3C仅限单人体运动控制。VerseCrafter能够精确让物体沿预设3D高斯轨迹移动，同时完美执行相机运镜，背景保持几何一致。在静态场景运镜对比中，即使大幅度运镜下依然保持建筑结构笔直和纹理清晰，表现优于ViewCrafter和Voyager等专业模型。
多视角一致性
得益于统一的4D世界坐标系，VerseCrafter支持多玩家视角生成功能。对于同一个动态事件，可以从完全不同的两个视角分别生成视频，两者在时间、空间和物体动作上保持高度一致。这一特性为游戏制作、电影预演和具身智能模拟提供了新的技术可能性，标志着视频生成向可控4D世界模拟迈出了重要一步。
VerseCrafter的出现代表了视频生成技术向物理世界模拟的重要进展，通过显式4D几何控制实现了前所未有的精度和一致性，为AI视频生成开辟了新的道路。
