UniVideo框架的开源，为视频领域带来了统一的多模态处理能力。它不仅集理解、生成与编辑于一体，其独特的架构设计还展现出了卓越的性能和强大的泛化能力，为视频AI应用提供了新的可能性。
智能速览
UniVideo是一个统一框架，能处理视频理解、生成和编辑等多种任务。
其核心由多模态大语言模型（MLLM）和多模态DiT（MM-DiT）构成。
采用自注意力机制的MM-DiT能更高效地与MLLM对齐。
UniVideo在多项任务上的表现优于或媲美现有强大基线模型。
该框架展现出跨领域迁移和组合式任务处理等强大的泛化能力。
精华内容
UniVideo的核心价值在于其“大一统”的设计理念。它通过精巧的架构，将原本分离的视频处理任务整合进一个框架内，并实现了高效协同。
统一架构
UniVideo框架的核心由两个关键部分组成。第一个是多模态大语言模型（MLLM），负责处理和理解多模态指令，能够解析文本、图像和视频输入。第二个是多模态扩散变换器（MM-DiT），专注于视觉内容的生成，它融合了来自MLLM的语义指导和来自变分自编码器（VAE）的细粒度重建信号，实现了从理解到生成的闭环。
高效对齐
框架设计的亮点在于对齐预训练的MLLM与扩散生成器。研究发现，采用自注意力机制的MM-DiT模型，比传统的基于交叉注意力的DiT模型更容易与MLLM对齐。具体而言，使用MM-DiT时，只需训练一个轻量级的MLP连接器，即可实现有效对齐，同时保持MLLM和生成器本身参数冻结，大幅降低了训练成本。
性能表现
尽管采用统一的联合训练模式，UniVideo在一系列任务中表现出色。研究涵盖了上下文内视频生成、视频编辑、视频风格化、图像编辑、文生图以及文生视频等。结果显示，UniVideo在这些多样化的任务中，均能取得优于或媲美专门训练的强大基线模型的性能，证明了其架构的有效性。
泛化能力
UniVideo展现了两种令人印象深刻的泛化能力。首先是跨域泛化，它将在图像编辑数据中学到的能力成功迁移到视频编辑领域，即使没有专门的视频编辑数据训练。其次是组合式任务泛化，它能够处理训练中从未见过的新颖任务组合，例如将“编辑操作”与“风格转换”指令结合执行。
UniVideo的开源标志着视频AI向通用化、一体化迈出了重要一步。其统一的架构和强大的泛化能力，预示着未来视频创作与处理的门槛将进一步降低，也为开发更复杂的视频应用提供了坚实的基础。
