基于频率解耦的扩散模型生成图片
在图像生成领域,现有的主流技术路线主要分为两类:以Stable Diffusion为代表的潜空间扩散和直接在像素空间生成的像素扩散。前者依赖VAE压缩,虽然速度快但容易产生伪影;后者理论上限高且端到端无损,但受限于巨大的像素空间维度,面临训练推理极慢、难以优化的挑战。核心痛点在于,像素空间同时包含复杂的“高频信号”(细节噪声)和“低频语义”(结构内容),传统方法使用单一DiT模型同时处理,导致高频噪声干扰语义学习,降低了生成效率与质量。
01频率解耦架构创新
针对上述问题,北京大学与华为联合提出了一种名为DeCo(Frequency-Decoupled Pixel Diffusion)的新架构。该研究基于一个关键观察:Transformer(DiT)擅长捕捉低频全局语义,但在处理高频信号时效率较低,且高频噪声在扩散过程中难以学习,对最终视觉感知的影响相对有限。基于此,DeCo提出了频率解耦策略,将低频语义与高频细节分开处理,采用多尺度策略:在低分辨率下通过DiT学习语义,在高分辨率下通过Decoder修补细节。
图像生成技术路线对比
频率解耦处理
DiT专注低频语义建模,避免高频噪声干扰
PixelDecoder专注高频细节重建,全由线性层组成
计算高效,端到端训练无VAE损失


单一模型处理
DiT同时处理高频和低频信号
高频噪声干扰语义学习,导致生成效果差
训练与推理极慢,优化难度大
02核心流程与机制
- 输入拆分
DiT接收下采样的图像Patch,专注于低频语义建模;PixelDecoder输入全分辨率图像,专注于高频细节重建。 - 轻量级解码器
PixelDecoder全由线性层(Linear Layers)组成,无Attention机制,计算高效。它通过AdaLN(Adaptive Layer Norm)接收DiT的输出作为语义条件。 - 预测目标
模型最终预测像素值,通过引入基于JPEG启发的频率感知Loss(Freq-aware Loss),加速收敛并提升画质。
03实验性能与消融
| 模型 | 参数量 (M) | 推理延迟 | FID↓ | IS↑ |
|---|---|---|---|---|
| DeCo-XL/16 | 682 | 4.32 | 4.47 | 301 |
| SiT-XL/2 | 761 | 4.50 | 4.60 | 284.0 |
| REPA-XL/2 | 675M+86M | 2.27 | 4.59 | 278.2 |
| DiT-XL/2 | 675M+86M | - | 4.70 | 259.7 |
ImageNet 512x512 数据集性能对比(数值越低/越高越优)
实验数据显示,DeCo在ImageNet数据集上,以相对较少的参数量和较快的推理速度,达到了较高的图像质量(低FID,高IS)。消融实验进一步验证了关键设计的有效性:将PixelDecoder的Patch Size设为1以直接处理全分辨率像素至关重要;采用AdaLN的交互方式比简单的U-Net式加和(Add)更有效;引入频率感知Loss能显著降低FID指标。可视化结果也证明,虽然DiT忽略了高频部分,但PixelDecoder完美补全了图像细节。
总结来说,DeCo提出了一种频率解耦的Pixel Diffusion架构,利用DiT负责语义、Decoder负责细节,并引入频率感知Loss优化训练。该方法在保持端到端优势的同时,有效弥补了Pixel Diffusion和Latent Diffusion之间的性能鸿沟,未来有望应用于更高分辨率的原生训练及视频生成领域。
当前文章无评论,是时候发表评论了