针对当前多模态模型在生成交错图文内容时面临的一致性瓶颈，Nvidia提出的DuoGen框架提供了一套系统性解决方案。其核心价值在于通过解耦架构创新、两阶段训练策略和高质量数据引擎，显著提升了生成内容的文本质量、图像保真度及图文对齐度，为复杂的多模态内容创作开辟了新路径。
智能速览
DuoGen采用解耦架构，将多模态理解与图像生成分离，提升模型灵活性。
通过两阶段训练，确保模型能自主触发并精确对齐生成的图文内容。
构建了近30万条高质量指令数据，为模型卓越性能奠定基础。
利用视频扩散模型原理，保证长文档中物体形象的视觉一致性。
在多项基准测试中，图文对齐度达到现有最佳方法的2.8倍。
精华内容
DuoGen的创新之处在于其系统性的解决方案，它通过精巧的架构设计、独特的训练策略和高质的数据引擎，共同攻克了交错式多模态生成的核心难题。
解耦架构设计
DuoGen并未从头训练一个统一模型，而是采用模块化的解耦设计。它将预训练的多模态大语言模型Qwen2.5-VL作为“大脑”，负责逻辑推理与决策生成。
同时，它将预训练的视频扩散Transformer作为“画笔”，专门负责图像的合成任务。这种设计允许研究者灵活选择当前最强大的基础模型，并通过一个轻量级连接器将两者结合，实现了理解与生成功能的彻底分离。
两阶段训练策略
模型的训练过程被巧妙地分为两个阶段。第一阶段仅微调作为“大脑”的MLLM，目标是让模型学会在对话中自主触发
第二阶段则冻结MLLM的参数，专注于训练作为“画笔”的DiT和连接器。这一阶段使用上下文对齐数据，确保模型生成的图像序列在视觉对象、场景及语义上能与前文内容保持高度一致。
高质量数据引擎
为解决高质量指令数据匮乏的问题，Nvidia开发了一套自动化数据引擎。首先，通过LLM/MLLM对34.7万个网页进行过滤和重写，转化生成了26.8万条纯净的“用户-助手”交错式对话数据。
此外，还利用OpenAI O3模型对种子指令进行扩展，合成了3万条覆盖151个细分类别的高质量数据。这套由近30万条数据构成的数据集，显著提升了生成内容的审美水平和逻辑连贯性。
视频DiT对齐原理
DuoGen的一个关键创新是利用了预训练视频DiT的帧间一致性能力。在生成新图像时，模型会将对话历史中已有的图像作为“条件帧”，沿时间轴堆叠输入给DiT。
同时，将MLLM在触发生成标记前的隐状态作为语义引导信息。这种机制让模型能够像处理连续视频帧一样处理交错图文，从而有效保证了在长文档中，同一物体的形象能够保持稳定和一致。
DuoGen框架为生成高质量、高一致性的交错图文内容提供了一个强大且可扩展的蓝图，其模块化思想与数据工程经验对未来多模态模型的发展具有重要参考价值。随着这类技术的成熟，未来人机交互和信息呈现的方式将会发生怎样的变革？
