Denoising Diffusion Probabilistic Models

Panduan membaca

Masalah dan motivasi

Meskipun diffusion probabilistic models awalnya diperkenalkan oleh Sohl-Dickstein et al. (2015) berdasarkan termodinamika nonekuilibrium, iterasi awal model ini tertinggal jauh di belakang GAN dan arsitektur autoregresif dalam hal ketepatan visual. Model-model ini umumnya dianggap lambat, sulit disetel, dan belum terbukti pada dataset gambar alami beresolusi tinggi yang kompleks. Para penulis berusaha memeriksa kembali model difusi dengan membangun hubungan formal antara objektif variasionalnya dan score matching dengan dinamika Langevin, menunjukkan bahwa dengan parameterisasi dan objektif yang tepat, model difusi dapat mencapai kualitas persepsi sampel yang canggih (state-of-the-art).

Ide utama

• Parameterisasi Prediksi Derau (Noise-Prediction Parameterization): Alih-alih memprediksi rata-rata posterior ${\tilde{\mathbf{\mu }}}_t$ secara langsung, jaringan saraf proses mundur ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ dilatih untuk memprediksi vektor derau Gaussian standar tanpa skala $\mathbf{ϵ}$ yang ditambahkan selama langkah maju.
• Hubungan dengan Denoising Score Matching: Difusi denoising setara dengan denoising score matching di berbagai skala derau, sementara rantai mundur yang dipelajari bertindak sebagai sampler dinamika Langevin yang di-anneal, yang diturunkan melalui inferensi variasional.
• Fungsi Kerugian yang Disederhanakan ($L_{\mathrm{simple}}$): Mengabaikan pembobotan yang bergantung pada varians secara ketat dari batas bawah variasional menghasilkan kerugian MSE tanpa bobot yang menurunkan bobot tingkat derau rendah ($t\approx 1$), memaksa model untuk berfokus pada struktur kasar yang penting secara persepsi.
• Sudut Pandang Kompresi Lossy Progresif: Analisis mengungkapkan bahwa lebih dari setengah panjang kode lossless model merepresentasikan derau piksel frekuensi tinggi yang tidak terlihat, yang berarti model difusi secara implisit mengoptimalkan laju-distorsi (rate-distortion) dengan mendekode konten global terlebih dahulu sebelum mengisi tekstur halus.

Metode

Proses maju merusak data ${\mathbf{x}}_0$ secara bertahap selama $T=1000$ langkah dengan jadwal varians tetap ${\beta }_1,\dots ,{\beta }_T$: $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ Menggunakan ${\alpha }_t=1-{\beta }_t$ dan ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$, variabel laten perantara dapat disampel secara langsung dalam bentuk tertutup: $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

Rantai mundur $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ memparameterisasi nilai rata-rata sebagai: $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ di mana ${\sigma }_t^2$ ditetapkan ke ${\beta }_t$ atau ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$.

Jaringan dioptimalkan menggunakan fungsi kerugian pengganti yang disederhanakan: $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ di mana $t\sim \text{Uniform}(\{1,\dots ,T\})$ dan $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$.

Pengambilan sampel berjalan mundur dari ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ menggunakan: $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ dengan $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ untuk $t>1$, dan $\mathbf{z}=0$ ketika $t=1$.

Hasil

• CIFAR-10: Mencapai Inception Score (IS) tanpa syarat sebesar $9,46\pm 0,11$ dan FID sebesar $3,17$ menggunakan $L_{\mathrm{simple}}$, mengungguli model kontemporer seperti SNGAN (FID 21,7) dan NCSN (FID 25,32).
• Sintesis Resolusi Tinggi: Berhasil menghasilkan gambar $256\times 256$ yang realistis pada LSUN (Bedroom FID 4,90, Church FID 7,89, Cat FID 19,75) dan CelebA-HQ.
• Trade-off Antara Likelihood vs. Kualitas: Meskipun pelatihan dengan batas variasional eksak $L$ memberikan negative log-likelihood yang lebih baik ($\le 3,70$ bits/dim uji) dibandingkan $L_{\mathrm{simple}}$ ($\le 3,75$ bits/dim uji), $L_{\mathrm{simple}}$ mencapai skor FID yang jauh lebih unggul (3,17 vs. 13,51).

Keterbatasan dan pertanyaan terbuka

• Kecepatan Sampling: Pengambilan sampel memerlukan evaluasi jaringan saraf sebanyak $T=1000$ kali secara sekuensial per batch gambar, membuat inferensi jauh lebih lambat daripada GAN atau model flow lintasan tunggal (single-pass).
• Log-Likelihood Kompetitif: Model ini belum menandingi likelihood pengujian lossless murni dari model autoregresif murni seperti Sparse Transformers (yang mencapai $2,80$ bits/dim pada CIFAR-10).
• Penjadwalan Varians Tetap: Jadwal varians proses maju ${\beta }_t$ ditetapkan secara linear alih-alih dipelajari atau diskalakan secara adaptif, menyisakan pertanyaan terbuka apakah jadwal non-linear atau dinamika kontinu yang dipelajari dapat memberikan peningkatan lebih lanjut.