读论文-多模态3：Stable Diffusion [CVPR 2022]

Stable Diffusion为何能实现高效的高分辨率图像生成？其核心在于将繁重的计算从像素空间转移到一个更紧凑的潜空间。通过巧妙的模型分工——VAE负责压缩冗余信息，LDM专注于语义生成——它在大幅提升速度的同时，几乎不损失图像质量。这为大规模文生图应用的普及铺平了道路。

智能速览

• Stable Diffusion将计算从像素空间转移至潜空间，显著提速。

• VAE模型通过GAN训练，负责过滤冗余感知并保留核心语义。

• LDM模型专注于在潜空间进行扩散过程，学习图像的语义生成。

• 模型架构实现了压缩与生成的完全分离，分工明确。

• 通过交叉注意力机制，可灵活融入文本、图像遮罩等条件信息。

精华内容

要理解Stable Diffusion的革命性，关键在于拆解其双模型架构。它并非单一模型，而是VAE与LDM的精妙配合，分别扮演着“压缩师”与“创作者”的角色。

效率革命

早期的扩散模型如DDPM，直接在高维的像素空间中进行操作，计算量巨大，导致训练和推理速度缓慢。尽管DDIM优化了推理过程，但训练阶段的瓶颈依然存在。Stable Diffusion的提出，正是为了解决这一根本性难题。其核心思想是，如果能在保持图像主要语义信息的前提下，将图像压缩到一个低维的潜空间，那么扩散过程的计算开销将呈指数级下降。这种思路类似于，不在一整块画布上修改细节，而是在一个简化的草稿上进行创作，完成后再精细还原。

感知压缩器

实现潜空间压缩的关键是变分自编码器（VAE）。Stable Diffusion中的VAE采用了一种巧妙的GAN（生成对抗网络）训练策略。其目标不是追求像素级别的完美重建，而是让重建图像在判别器看来足够“逼真”。训练包含三个部分：编码器将原始图像压缩为潜变量，解码器将潜变量还原图像，判别器则负责区分真实图像与重建图像。通过这种对抗训练，VAE学会了优先丢弃人眼难以察觉的冗余细节（如细微纹理），而完整保留关键的语义信息（如物体轮廓和结构），实现了高达4-8倍的有效压缩。

语义创作者

在VAE完成压缩工作后，真正的“创作者”——潜空间扩散模型（LDM）登场。LDM的训练过程与标准的DDPM类似，但它的操作对象不再是像素，而是由VAE提取出的低维潜变量。这个过程是在一个更小、信息密度更高的空间里完成的，因此效率极高。当需要生成图像时，LDM从一个随机噪声潜变量开始，逐步去噪，最终生成一个包含完整语义信息的潜变量。最后，这个潜变量被送入VAE的解码器，经过上采样放大，还原成高分辨率的最终图像。

跨模态控制

Stable Diffusion的强大之处还在于其灵活的条件控制能力，这使得文生图成为可能。其核心技术是交叉注意力机制。在训练LDM的U-Net网络时，会将文本提示（通过CLIP等模型编码为向量）作为条件注入。通过交叉注意力层，模型在每一步去噪时都能“看到”并理解文本指令，从而引导生成过程朝着特定主题和风格发展。这种设计将模型主干与条件控制部分解耦，只需微调新增的模块，就能高效地适应文本、图像、语义图等多种下游任务。

Stable Diffusion通过潜空间扩散的架构，巧妙地平衡了生成质量与计算效率，成为AIGC时代的关键基石。它不仅是一项技术突破，更是一种设计哲学的体现：将复杂问题分解为专精的模块协同解决。未来，这种架构还将如何演进，又会催生出怎样更富创造力的应用？