Diffusion与Flow Matching核心关系完整拆解
DDPM、DDIM、Flow Matching等生成式模型在底层数学逻辑上是完全等价的,本质上均是同一套像素运动逻辑的不同表达形式。理解这些模型的核心在于掌握三个关键变量:Score场 sₜ(像素移动方向)、预测噪声 ε(Score的缩放等效值)以及速度场 vₜ(包含方向与移动速率的完整运动状态)。不同技术路线的差异主要在于对像素运动规律的拟合方式不同,从而导致了生成效率与质量的显著区别。
01初代模型:NCSN与朗之万采样
最早的图像生成思路基于Score梯度场,通过随机抖动优化画面。该方法的迭代公式为 xₖ₊₁ = xₖ + η·s_θ(xₖ)+√(2η)·ξ。然而,这种模式缺乏分层时序约束,由于迭代跨度大,导致模型学习困难且训练容易崩溃,无法生成高清图像,目前主要作为理论基础存在。
02经典基石:DDPM扩散模型
2020年提出的DDPM模型解决了NCSN的缺陷,将一次性优化拆解为1000步小幅降噪,大幅降低了训练难度,成为AI绘画的通用基底。其核心加噪公式为 xₜ = √ᾱₜ·x₀+√(1−ᾱₜ)·ε。模型的核心学习目标预测噪声 ε,本质上是拟合Score梯度场,二者通过公式 ε = −√(1−ᾱₜ)·sₜ 进行换算。
尽管DDPM奠定了基础,但其短板在于必须跑完1000步采样。由于自带随机震荡与马尔可夫链式约束,导致推理速度极慢,难以满足实时生成的需求。
03提速方案:DDIM确定性采样
DDIM作为一种提速神器,完全兼容DDPM的预训练权重,无需重新训练。其核心创新在于剔除了随机扰动,打破了局部帧依赖,依靠全局恒等式实现了20-50步的极速跳步采样。在数学本质上,DDPM被视为随机SDE(随机微分方程)离散采样,而DDIM则是确定性ODE(常微分方程)稀疏采样。
这一方案在不损失画质的前提下直接拉满了推理速度,是目前工业界的主流选择之一。
04新一代趋势:Flow Matching流模型
2023年出现的Flow Matching技术,被应用于SD3、Flux等新一代模型中。该技术简化了扩散模型的间接学习逻辑,直接拟合像素速度场 vₜ。通过线性插值路径 xₜ=(1−t)x₀+t·x₁,模型使用极简损失函数 L_FM = E[ ||v_θ(xₜ,t)−(x₁−x₀)||₂² ] 进行训练。
Flow Matching摆脱了传统扩散“噪声→Score→速度场”的层层换算与冗余迭代。搭配整流流技术,它能拉直像素运动轨迹,直接实现少步甚至单步高清生成,在速度上实现了对传统扩散模型的碾压。
| 技术模型 | 核心机制 | 数学本质 | 优势与局限 |
|---|---|---|---|
| NCSN | Score梯度场+随机抖动 | 朗之万动力学 | 理论奠基,但训练难、无法生成高清图 |
| DDPM | 预测噪声 (拟合Score场) | 随机SDE离散采样 | 训练稳定、画质好,但采样步数多、速度慢 |
| DDIM | 确定性跳步采样 | 确定性ODE稀疏采样 | 兼容DDPM权重,大幅提速且不损画质 |
| Flow Matching | 直接拟合速度场 vₜ | 常微分方程 / 整流流 | 路径直、步数少、速度最快,是未来趋势 |
生成模型技术路径对比
综上所述,所有AI生成模型在底层上是同源的,权重互通且逻辑统一。DDPM以稳定性见长但速度缓慢,DDIM实现了无损提速,而Flow Matching则通过直接拟合达到了极致的高效。从间接拟合到直接拟合的演进,正是AI绘画技术未来的核心发展趋势。
当前文章无评论,是时候发表评论了