通常，深度学习模型参数足够、训练足够久，就会“记住”训练数据。但扩散模型却展现出一种反直觉的特性：它们似乎很难过拟合。这篇内容深入剖析了这一现象背后的机制与原理，从学习目标的本质到理论的证明，揭示了扩散模型为何在机制上就优先泛化而非记忆。
智能速览
扩散模型不易“背下”训练样本，这与深度学习常识相悖。
其监督信号是学习“去噪方向”，而非记忆“全局身份”。
模型学习的是数据共性的平滑向量场，这与记忆特定点不兼容。
神经网络的“谱偏置”使其先学低频共性，后学高频细节，记忆需要极长时间。
理论上存在一个“泛化窗口”，模型先学会泛化，再可能记忆。
更大的数据量会拓宽泛化窗口，使模型更强大且不易过拟合。
精华内容
这种反直觉的现象背后，是扩散模型独特的训练机制在起作用。从其学习目标到内在原理，都决定了它倾向于泛化而非记忆，这正是其强大创造力的根源。
目标是去噪
扩散模型的核心任务是给噪声图像预测噪声，即学习一个“局部方向”，而不是直接还原一张“全局身份”的完整图片。在训练中，一张原始图片会被添加不同程度的噪声，生成数千种不同的“中间状态”样本。模型面对的并非固定答案，而是在各种噪声下如何正确去噪。这使得它无法简单地“背诵”原图，而是必须掌握去除噪声的普适性规律。
学共性而非个性
从Score-based模型的角度看，扩散模型的目标是学习一个光滑、低噪的向量场（即分数函数）。这个函数描述了数据整体分布的梯度方向，代表了“这一类数据的共性结构”。而“记忆”一个特定样本，相当于拟合数据点处的高频、尖锐变化。这两个目标在数学上是根本性冲突的。模型无法通过记住100万个离散的点，去逼近一个光滑的连续函数。
先学共性后学细节
神经网络存在一种“谱偏置”特性，即训练时会优先学习低频信息（如轮廓、结构），然后才慢慢学会高频信息（如纹理、细节）。
记忆训练数据，本质上是学会数据集中高频、随机的噪声部分。这个过程需要极长的训练时间和巨大的模型容量。
而数据量越大，高频成分越复杂，学会记忆的难度就越高。因此，在常规训练时长内，模型总是先学会低频的共性。
泛化窗口理论
有论文从理论上证明了这一点，并定义了两个关键时间尺度：τ_gen（达到泛化所需时间）和τ_mem（开始记忆所需时间）。
研究表明，在τ_gen和τ_mem之间存在一个“巨大的泛化窗口”。这意味着扩散模型的发展路径是“先理解世界，再记住细节”。它会先掌握数据的核心规律，实现泛化，然后才可能开始对训练样本进行记忆。数据规模越大，这个泛化窗口就越宽阔，这也是大规模扩散模型既强大又不过拟合的关键原因。
总而言之，扩散模型的设计哲学在机制层面就决定了其优先泛化的倾向。它通过学习去噪、拟合数据分布，而非记忆单个样本，从而获得了强大的生成能力和出色的泛化性能。这一特性或许为未来构建更稳健、更具创造力的人工智能模型提供了重要的设计思路。
