ThinkGen：用多模态构建CoT 增强视觉生成

面对AI生成内容时逻辑性不足的痛点，ThinkGen框架提出了一种创新方案。它将多模态大语言模型的思维链推理能力，与图像生成模型深度融合，让AI在“思考”后再进行创作，显著提升了图像生成与编辑的质量和合理性。

智能速览

• ThinkGen是首个由“思维驱动”的通用视觉生成框架。

• 采用解耦架构，将MLLM作为决策大脑，Diffusion Transformer作为执行画手。

• 创新性地设计了可分离的强化学习算法，分阶段优化不同模块。

• 引入视觉生成指令精炼模块，过滤冗余信息，提升指令执行效率。

• 在多项视觉推理与编辑基准测试中，性能达到业界顶尖水平。

精华内容

传统AI绘画常因缺乏逻辑而闹笑话，ThinkGen则尝试赋予AI“思考”的能力，让生成过程更符合人类直觉与物理常识。

思维驱动架构

ThinkGen的核心在于其独特的解耦架构设计，彻底改变了以往仅将多模态大语言模型（MLLM）当作特征提取器的做法。在这个框架中，MLLM被定位为整个系统的“决策大脑”，负责理解用户意图并进行思维链（CoT）规划。

具体来说，MLLM会先在标签内生成详细的推理过程，然后输出精炼后的视觉生成指令。这套指令再引导负责高质量像素合成的Diffusion Transformer（DiT）模型，完成复杂的图像生成或编辑任务。

可分离强化学习

为了高效训练这套复杂的系统，研究团队提出了可分离的强化学习算法。该方法交替冻结其中一个模块，并对另一个进行优化，从而有效降低了整体训练的复杂度。

在训练的第四阶段，系统会优化MLLM，使其能生成更符合视觉逻辑的指令；而在第五阶段，则优化DiT模型，使其能更精准地遵循这些指令。这种设计不仅支持多场景联合训练，还允许为不同模块定制专属的奖励函数。

指令精炼模块

MLLM生成的思维链推理过程虽然详细，但也包含了大量与视觉指令无关的冗余信息。为了解决这个问题，ThinkGen引入了视觉生成指令精炼模块。

该模块能智能提取标签之后的关键指令，并将其与一个可学习的“预填充状态”相连接。这一过程不仅过滤了信息噪音，还通过可学习参数自适应地调整了MLLM输出的表示分布，使其与后续DiT模型的条件输入层实现更好的语义对齐。

五阶段训练法

模型的训练过程被精心设计为五个阶段，循序渐进地从基础对齐过渡到高级推理。Stage 1至Stage 3主要进行监督预训练和高质量微调，确保DiT模型先具备扎实的基础图像生成能力。

随后的Stage 4和Stage 5则通过可分离GRPO算法引入强化学习。此外，为了解决生成数据普遍缺乏CoT标注的问题，团队还构建了包含语义组合、推理生成、文本渲染等五个典型场景的伪CoT数据集，为模型训练提供了宝贵的数据支持。

性能大幅提升

实验数据充分证明了ThinkGen架构的有效性。在开启思维链推理后，模型在WISE智力推理基准上的得分提升了21%。

更具突破性的是，在RISEBench推理编辑基准上，其得分从3.6飙升至13.0，达到了业界顶尖水平。这表明ThinkGen能够处理极具挑战性的任务，比如根据不完整的图像推理并补全缺失部分，或基于物理常识进行符合逻辑的图像编辑，展现了强大的通用推理与编辑能力。