南京大学联合腾讯优图推出DiP框架:打破像素空间扩散模型效率与质量僵局
扩散模型虽然在图像合成领域全面超越了GANs,但其巨大的算力消耗一直限制着进一步的应用。为了降低计算门槛,主流的潜在扩散模型(LDMs)通常依赖变分自编码器(VAE)将图像压缩至潜在空间,虽然降低了计算复杂度,但也牺牲了画质上限并引入了重建伪影。南京大学、腾讯优图实验室与新加坡国立大学联合发布的DiP框架,通过一种新的架构设计,在不依赖VAE的情况下,以极小的参数代价实现了像素空间的高效高质量生成,为解决这一行业难题提供了新思路。
01核心逻辑:全局与局部的解耦
DiP框架的核心在于打破了单一网络处理所有任务的常规,将图像生成过程解耦为“全局结构构建”与“局部细节恢复”两个协同阶段。这种分离策略旨在解决Transformer架构在处理高分辨率图像时面临的序列长度爆炸问题,同时弥补其在局部纹理刻画上的先天不足。
DiP 双阶段生成机制
全局结构构建
主体:扩散Transformer(DiT)主干网络
策略:处理大图像块,减少输入序列长度
作用:利用自注意力机制捕捉宏观布局与语义内容
优势:计算开销降至与潜在空间模型相当的水平


局部细节恢复
主体:轻量级图像块细节头(Patch Detailer Head)
策略:基于卷积U-Net,在大图像块内部进行精细化操作
作用:合成缺失的高频纹理和边缘信息
优势:引入局部归纳偏置,修复模糊细节
02架构设计:显式注入归纳偏置
在像素空间直接训练面临的主要挑战是模型缺乏处理局部细节所需的归纳偏置。DiT模型虽然能理解图像的宏观语义,但往往无法还原精细的纹理,例如猫毛的排列或草叶的边缘。DiP通过引入专门的细节头,显式地将被压缩的空间感知能力注回模型,从而在特征空间表现出更优的类间分离性。
- 细节头架构选型
在对比了标准MLP、基于坐标的MLP和块内注意力机制后,研究团队最终选择了轻量级卷积U-Net。卷积网络天然的局部性和平移等变性,使其成为修复局部纹理的最佳选择。 - 极低的参数成本
该细节头仅包含4个下采样块和4个上采样块,引入后仅增加0.3%的总参数量,几乎可以忽略不计,却带来了显著的画质提升。 - 事后细化策略
通过对比实验,团队确定了“事后细化”策略为最佳方案。即只在DiT主干网络的末端接入细节头,这种方式不仅实现了关注点的清晰分离,还允许直接利用现有的预训练DiT模型进行微调。
03性能表现:效率与质量的双重超越
| 模型 | FID (256x256) | 推理耗时 (单张) | 参数量 |
|---|---|---|---|
| DiP-XL/16 | 1.79 | 0.92s | 631M |
| DiT-XL (基线) | 2.27 | 2.09s | - |
| PixelFlow-XL/4 | 1.98 | 7.50s | - |
| VDM++ | 2.12 | - | 2.46B |
ImageNet 256×256 基准测试对比
实验数据表明,单纯堆砌DiT层数或扩大隐藏层维度是一条性价比极低的路线。增加网络深度仅带来微小的FID下降,却导致参数量和训练成本暴涨。相比之下,DiP仅用0.3%的参数增量,就将FID分数显著优化,证明了引入正确的归纳偏置比盲目扩大模型规模更为有效。
- 生成质量:DiP-XL/16以1.79的FID分数刷新了像素空间模型记录,优于DiT-XL、SiT-XL及此前的SOTA模型PixelFlow。
- 推理速度:单张图像推理仅需0.92秒,比DiT-XL快2倍,比PixelFlow快8倍;在75步设置下仅需0.70秒,速度提升超10倍。
- 训练效率:DiP仅需320个训练周期即可达到最佳状态,相比DiT-XL和SiT-XL通常需要的1400个周期,训练时间缩短了75%以上。
当前文章无评论,是时候发表评论了