Denoising Diffusion Probabilistic Models (去噪扩散概率模型)

论文解读

问题与动机

尽管 Sohl-Dickstein et al. (2015) 最初基于非平衡热力学提出了扩散概率模型，但早期的迭代版本在视觉保真度上显著落后于 GAN 和自回归架构。它们通常被认为采样缓慢、难以调优，且在复杂的高分辨率自然图像数据集上尚未得到充分验证。作者着手重新审视扩散模型，通过在变分目标与使用 Langevin dynamics 的分数匹配之间建立形式化联系，证明了在采用合适的参数化和目标函数时，扩散模型可以达到最先进的感知样本质量。

核心思想

• 噪声预测参数化： 逆向过程神经网络 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ 没有直接预测后验均值 ${\tilde{\mathbf{\mu }}}_t$，而是被训练用于预测在前向步骤中添加的未缩放标准高斯噪声向量 $\mathbf{ϵ}$。
• 与去噪分数匹配的联系： 去噪扩散在多个噪声尺度上与去噪分数匹配等价，而学习到的逆向链则充当通过变分推断导出的退火 Langevin dynamics 采样器。
• 简化的损失函数 ($L_{\mathrm{simple}}$)： 舍弃变分下界中严格依赖方差的权重系数，得到一个未加权的 MSE 损失，该损失降低了低噪声水平（$t\approx 1$）项的权重，迫使模型专注于感知上至关重要的粗粒度结构。
• 渐进式有损压缩视角： 分析表明，模型无损码长的一半以上代表了人眼无法察觉的高频像素噪声，这意味着扩散模型通过先解码全局内容、再填充精细纹理，隐式地优化了率失真性能。

方法

前向过程在 $T=1000$ 步内通过固定的方差调度 ${\beta }_1,\dots ,{\beta }_T$ 逐步破坏数据 ${\mathbf{x}}_0$： $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ 利用 ${\alpha }_t=1-{\beta }_t$ 和 ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$，可以直接以闭式解采样中间潜变量： $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

逆向链 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ 将均值参数化为： $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ 其中 ${\sigma }_t^2$ 被固定为 ${\beta }_t$ 或 ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$。

网络使用简化的替代损失进行优化： $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ 其中 $t\sim \text{Uniform}(\{1,\dots ,T\})$ 且 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$。

采样过程从 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ 开始逆向进行： $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ 当 $t>1$ 时 $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$，当 $t=1$ 时 $\mathbf{z}=0$。

结果

• CIFAR-10： 使用 $L_{\mathrm{simple}}$ 实现了 $9.46\pm 0.11$ 的无条件 Inception Score (IS) 和 $3.17$ 的 FID，优于同期的 SNGAN (FID 21.7) 和 NCSN (FID 25.32)。
• 高分辨率合成： 在 LSUN（卧室 FID 4.90，教堂 FID 7.89，猫 FID 19.75）和 CelebA-HQ 上成功生成了逼真的 $256\times 256$ 图像。
• 似然与质量的权衡： 尽管使用精确的变分界 $L$ 训练比 $L_{\mathrm{simple}}$（测试集 $\le 3.75$ bits/dim）获得了更好的负对数似然（测试集 $\le 3.70$ bits/dim），但 $L_{\mathrm{simple}}$ 取得了显著更优的 FID 分数（3.17 对比 13.51）。

局限性与开放问题

• 采样速度： 每个图像批次的采样都需要对神经网络进行 $T=1000$ 次序列式前向评估，使得推理速度比 GAN 或单步流模型慢数个数量级。
• 对数似然竞争力： 该模型在原始无损测试似然上无法与纯自回归模型抗衡，例如 Sparse Transformers（在 CIFAR-10 上达到 $2.80$ bits/dim）。
• 固定的方差调度： 前向方差调度 ${\beta }_t$ 是线性固定的，而非通过学习获得或自适应缩放；非线性调度或可学习的连续动力学是否能带来进一步提升仍是待解决的问题。