Denoising Diffusion Probabilistic Models

論文解讀

問題與動機

雖然擴散機率模型最初是由 Sohl-Dickstein 等人（2015）基於非平衡熱力學所提出，但早期的版本在視覺逼真度上大幅落後於 GAN 與自回歸架構。它們通常被認為採樣速度慢、難以調校，且未在複雜的高解析度自然影像資料集上獲得驗證。作者著手重新審視擴散模型，透過在其變分目標函數與帶有 Langevin 動力學的分數匹配之間建立正式連結，證明只要搭配適當的參數化與目標函數，擴散模型便能達到最先進的感知樣本品質。

核心概念

• 雜訊預測參數化（Noise-Prediction Parameterization）： 反向過程的神經網路 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ 並非直接預測後驗均值 ${\tilde{\mathbf{\mu }}}_t$，而是被訓練來預測在正向步驟中加入的未縮放標準高斯雜訊向量 $\mathbf{ϵ}$。
• 與去噪分數匹配的關聯： 去噪擴散在多個雜訊尺度上對應於去噪分數匹配，而學習到的反向鏈則充當透過變分推斷導出的退火 Langevin 動力學採樣器。
• 簡化損失函數（$L_{\mathrm{simple}}$）： 捨棄變分下界中嚴格依賴常態變異數的加權，產生無加權的 MSE 損失，此舉降低了極低雜訊水準（$t\approx 1$）的權重，迫使模型專注於對視覺感知至關重要的粗略結構。
• 漸進式失真壓縮觀點： 分析顯示，模型超過一半的無失真碼長（lossless codelength）都在描述肉眼無法察覺的高頻像素雜訊，這意味著擴散模型在填補精細紋理之前，會先解碼全域內容，隱式地最佳化了率失真（rate-distortion）。

方法

正向過程在 $T=1000$ 步內，利用固定的變異數排程 ${\beta }_1,\dots ,{\beta }_T$ 逐步破壞資料 ${\mathbf{x}}_0$： $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ 定義 ${\alpha }_t=1-{\beta }_t$ 且 ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$，中間潛在變量可直接透過閉式解採樣： $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

反向鏈 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ 將均值參數化為： $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ 其中 ${\sigma }_t^2$ 被固定為 ${\beta }_t$ 或 ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$。

網路使用簡化的替代損失函數進行最佳化： $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ 其中 $t\sim \text{Uniform}(\{1,\dots ,T\})$ 且 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$。

採樣過程從 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ 開始反向執行： $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ 當 $t>1$ 時 $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$，而當 $t=1$ 時 $\mathbf{z}=0$。

結果

• CIFAR-10： 使用 $L_{\mathrm{simple}}$ 達成了 $9.46\pm 0.11$ 的無條件 Inception Score (IS) 與 $3.17$ 的 FID，超越了同期的 SNGAN（FID 21.7）與 NCSN（FID 25.32）。
• 高解析度合成： 在 LSUN（Bedroom FID 4.90、Church FID 7.89、Cat FID 19.75）與 CelebA-HQ 上成功生成逼真的 $256\times 256$ 影像。
• 概似度與品質的權衡： 雖然使用精確變分下界 $L$ 訓練能獲得比 $L_{\mathrm{simple}}$（測試集 $\le 3.75$ bits/dim）更好的負對數概似度（測試集 $\le 3.70$ bits/dim），但 $L_{\mathrm{simple}}$ 取得了大幅領先的 FID 分數（3.17 對比 13.51）。

限制與開放性問題

• 採樣速度： 每個影像批次的採樣都需要循序執行 $T=1000$ 次神經網路評估，使得推論速度比 GAN 或單次傳遞的流模型慢了數個數量級。
• 對數概似度的競爭力： 模型的純無失真測試概似度仍不及純自回歸模型，例如 Sparse Transformers（在 CIFAR-10 上達到 $2.80$ bits/dim）。
• 固定的變異數排程： 正向變異數排程 ${\beta }_t$ 是線性固定的，而非透過學習或自適應縮放，這留下了一個開放性問題：非線性排程或學習連續動力學是否能帶來進一步的改進。