形式化统一：SMLD与DDPM

参考文献

Papers

  1. Score-Based Generative Modeling Through Stochastic Differential Equations

Blogs

  1. Generative Modeling by Estimating Gradients of the Data Distribution

回顾: SMLD与DDPM

SMLD (Denoising Score Matching with Langevin Dynamics)

训练过程

噪声序列：

Noise-Perturbed Distribution:

对于每个噪声 ，原始数据分布 被扰动，得到噪声扰动分布

NCSN: 训练一个噪声条件评分模型 (Noise Conditional Score Network, NCSN) 来估计每个噪声扰动分布的评分函数 ，使其近似满足：

其中，一般来说：

训练目标

推理过程

给定充足的数据和模型容量，最优的基于得分的模型 几乎在 的所有情况下都匹配

接下来，顺序地为每个 运行 步的朗之万 MCMC 获取一个样本：

上述过程按 的顺序重复进行

即：

  1. 从一个大噪声高斯分布（以 为标准差）中初始化 （通常是纯噪声），模型在 下运行 步。

  2. 对于接下来的每一个噪声尺度 （小于 ），上一个阶段的最终样本 被用作当前阶段的初始样本 ，模型在更小的 下运行 步

  3. 当达到最小噪声 时，样本 最接近真实数据分布

理想条件：

  • （采样步数无限多）：确保在每个 级别上，朗之万 MCMC 能够充分探索并收敛到
  • （步长无限小）：确保离散化误差消失，使离散 MCMC 过程精确地模拟连续的朗之万动力学

在这些理想条件下，最终的样本 理论上可以精确地来自

DDPM (Denoising Diffusion Probabilistic Models)

噪声序列：

对于给定的

前向过程：

进而推得：

根据此，我们可以对应地定义Noise-Perturbed Distribution

Noise-Perturbed Distribution:

根据DDPM的反向过程公式：

进行参数化后：

取

训练目标(简化版)

其中：

推理过程

统一：公式的形式

令：

从DDPM开始变化

反向过程

训练目标

此时：

那么：

将上述结论带回原式：

推理过程

总结与对比

前提

噪声

  • SMLD： 噪声序列：
  • DDPM： 噪声序列：；

噪声扰动分布

  • SMLD：
  • DDPM：

训练目标

  • SMLD：
  • DDPM：

推理过程

  • SMLD：
  • DDPM：

噪声量级

  • SMLD：
  • DDPM：