张大妈

邓明扬一作论文改写生成范式!何恺明也署名了

源自知乎:量子位

02-08 12:38

何恺明团队提出全新生成模型范式“漂移模型”,将分布演化从推理阶段转移至训练阶段,实现了真正的单步高质量生成。该模型不仅规避了GANs训练的不稳定性和扩散模型的多步推理开销,更在ImageNet等基准测试中取得了超越传统多步模型的卓越表现,为AIGC领域带来革命性突破。

邓明扬一作论文改写生成范式!何恺明也署名了智能速览

  • 何恺明团队提出全新生成模型“漂移模型”

  • 模型通过训练阶段演化实现真正单步生成

  • 在ImageNet 256x256上单步生成FID达1.54

  • 性能媲美甚至超越需数百步迭代的传统模型

  • 该范式在具身智能控制任务中也展现出巨大潜力

  • 论文一作为奥赛双料金牌得主邓明扬

邓明扬一作论文改写生成范式!何恺明也署名了精华内容

传统生成模型的瓶颈在于推理阶段的反复迭代,而漂移模型则巧妙地将这一过程内化到训练中,从根本上改变了生成机制的逻辑。

生成模型的困境

当前主流的生成模型,如扩散模型和流匹配,其核心是在推理阶段通过迭代求解微分方程(ODE/SDE)来逐步将噪声转换为数据。这一过程导致生成单张图像需多次调用神经网络,计算成本高昂且生成速度缓慢。另一主流范式GANs虽可单步生成,但其对抗训练机制常陷入模式坍塌或训练不稳定的困境。因此,寻找一种既能单步生成又保证高质量与稳定性的新范式,成为领域内亟待解决的挑战。

范式转移:训练即演化

漂移模型颠覆性地提出,将分布演化的核心任务从推理阶段前置到神经网络的训练阶段。其理论根基在于,神经网络的训练(如SGD)本身就是一个迭代优化的过程。漂移模型赋予每次参数更新以物理意义:参数的微小更新直接驱动输出样本在空间中产生位移。随着训练迭代,模型参数的演化路径便等同于分布从先验(如高斯噪声)向真实数据演化的完整轨迹。这样,当训练完成后,模型已内化了整个演化过程,推理时仅需一次前向传播即可生成高质量样本。

漂移场的运作机制

为实现训练阶段的分布演化,论文引入了“漂移场”概念。漂移场是一个作用于训练阶段的函数,用于计算样本位置的修正位移,为参数更新提供导航。该机制通过一个基于梯度停止的损失函数,强制模型在训练中将输出分布与目标分布对齐。

具体实现上,模型利用MAE等预训练自监督模型构建特征空间,在更高语义层面引导分布匹配。漂移场被实例化为吸引与排斥力的结合:生成样本受真实数据吸引以保证细节,受当前生成分布排斥以维持多样性。借鉴对比学习思想,模型通过指数核和Softmax归一化精确估计力场,并将分类器自由引导(CFG)机制内化于训练,使单步推理即可获得强引导效果。

性能与潜力

在最具挑战性的ImageNet 256×256基准测试中,漂移模型展现出惊人的效率与质量。在1-NFE(单步推理)设置下,模型在潜空间取得了1.54 FID,在像素空间为1.61 FID。这一成绩刷新了单步生成的SOTA纪录,甚至优于许多需要250步迭代的传统扩散模型,证明了其方案的优越性。

此外,该范式的泛化能力同样出色。在具身智能的机器人控制任务中,基于漂移模型的单步决策策略,其质量已能媲美甚至超越需要100步推理的Diffusion Policy,显著降低了实时控制延迟,展现了广阔的应用前景。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章