UniMo是一个创新的自回归框架，它首次实现了在单一模型中对2D视频和3D人体运动的统一建模。该框架通过直接处理3D运动数据，无需中间转换，为视频生成、动作捕捉等多模态任务提供了更高效、更精确的解决方案，展现了人工智能在跨模态理解与生成领域的巨大潜力。
智能速览
UniMo是首个统一建模2D视频与3D人体运动的自回归框架。
通过直接处理3D运动，避免了传统方法中的2D对齐步骤。
其核心创新是采用VQ-VAE结构的3D运动分词器。
在图像到视频运动任务中，生成的视觉质量和运动多样性优于基线。
在视频到运动任务上，性能与当前最先进方法相当。
当码本大小为512时，分词器在重建精度和利用率上达到最佳。
精华内容
要理解UniMo的突破性，关键在于探究其内部工作机制。它如何巧妙地将看似独立的视频流和3D运动数据融合在一起？答案在于其精巧的分词器设计与统一的建模策略。
统一建模原理
UniMo的核心在于打破传统方法的壁垒。它不再将2D视频和3D运动视为孤立问题，而是通过一个统一的自回归框架进行联合建模。
这一框架最大的特点是其直接性：它直接以3D运动数据作为模型的输入和输出，彻底省去了通过2D运动图进行对齐的繁琐步骤。这种设计不仅简化了处理流程，更重要的是，它从源头上保证了信息传递的准确性，使得模型能够更精确地理解并生成多模态内容。
核心运动分词器
实现统一建模的关键技术，是UniMo设计的3D运动分词器。该分词器采用单个VQ-VAE结构，能够高效处理包含身体形状、平移、全局方向和姿态的SMPL-X参数。
为了平衡运动信息与视觉信息的密度，分词器引入了时间扩展策略，将每一帧的SMPL-X参数精确地表示为36个分词。这种设计在保证运动细节的同时，也维持了与视觉分词数量上的平衡，为后续的统一生成奠定了坚实基础。
实验性能验证
UniMo的有效性在多项实验中得到了验证。在图像到视频和运动（I2VM）任务中，与基线模型Cosmos相比，UniMo不仅在生成视频的视觉质量上更胜一筹，其生成运动的多样性也更为丰富。
在更具挑战性的视频到运动（V2M）任务中，UniMo在多个数据集上的表现与当前最先进的方法不相上下，尤其是在处理单人视频时展现了强大的准确性，证明了其统一框架的实用价值与巨大潜力。
UniMo的出现，为2D视频与3D运动的融合生成提供了一个高效且精准的新范式。它通过统一框架和创新的分词器设计，显著提升了多模态任务的性能。未来，这种统一思路能否拓展到更多模态，并催生出更智能的数字人应用？
