什么值得买App下载 App ›
连续签到专享现金活动

基于频率解耦的扩散模型生成图片

在图像生成领域,现有的主流技术路线主要分为两类:以Stable Diffusion为代表的潜空间扩散和直接在像素空间生成的像素扩散。前者依赖VAE压缩,虽然速度快但容易产生伪影;后者理论上限高且端到端无损,但受限于巨大的像素空间维度,面临训练推理极慢、难以优化的挑战。核心痛点在于,像素空间同时包含复杂的“高频信号”(细节噪声)和“低频语义”(结构内容),传统方法使用单一DiT模型同时处理,导致高频噪声干扰语义学习,降低了生成效率与质量。
01频率解耦架构创新
针对上述问题,北京大学与华为联合提出了一种名为DeCo(Frequency-Decoupled Pixel Diffusion)的新架构。该研究基于一个关键观察:Transformer(DiT)擅长捕捉低频全局语义,但在处理高频信号时效率较低,且高频噪声在扩散过程中难以学习,对最终视觉感知的影响相对有限。基于此,DeCo提出了频率解耦策略,将低频语义与高频细节分开处理,采用多尺度策略:在低分辨率下通过DiT学习语义,在高分辨率下通过Decoder修补细节。

图像生成技术路线对比

频率解耦处理
  • DiT专注低频语义建模,避免高频噪声干扰

  • PixelDecoder专注高频细节重建,全由线性层组成

  • 计算高效,端到端训练无VAE损失

单一模型处理
  • DiT同时处理高频和低频信号

  • 高频噪声干扰语义学习,导致生成效果差

  • 训练与推理极慢,优化难度大

02核心流程与机制
  • 输入拆分
    DiT接收下采样的图像Patch,专注于低频语义建模;PixelDecoder输入全分辨率图像,专注于高频细节重建。
  • 轻量级解码器
    PixelDecoder全由线性层(Linear Layers)组成,无Attention机制,计算高效。它通过AdaLN(Adaptive Layer Norm)接收DiT的输出作为语义条件。
  • 预测目标
    模型最终预测像素值,通过引入基于JPEG启发的频率感知Loss(Freq-aware Loss),加速收敛并提升画质。
03实验性能与消融
模型参数量 (M)推理延迟FID↓IS↑
DeCo-XL/166824.324.47301
SiT-XL/27614.504.60284.0
REPA-XL/2675M+86M2.274.59278.2
DiT-XL/2675M+86M-4.70259.7

ImageNet 512x512 数据集性能对比(数值越低/越高越优)

实验数据显示,DeCo在ImageNet数据集上,以相对较少的参数量和较快的推理速度,达到了较高的图像质量(低FID,高IS)。消融实验进一步验证了关键设计的有效性:将PixelDecoder的Patch Size设为1以直接处理全分辨率像素至关重要;采用AdaLN的交互方式比简单的U-Net式加和(Add)更有效;引入频率感知Loss能显著降低FID指标。可视化结果也证明,虽然DiT忽略了高频部分,但PixelDecoder完美补全了图像细节。
总结来说,DeCo提出了一种频率解耦的Pixel Diffusion架构,利用DiT负责语义、Decoder负责细节,并引入频率感知Loss优化训练。该方法在保持端到端优势的同时,有效弥补了Pixel Diffusion和Latent Diffusion之间的性能鸿沟,未来有望应用于更高分辨率的原生训练及视频生成领域。

评论

评论区空态插画

当前文章无评论,是时候发表评论了