Denoising Diffusion Probabilistic Models

Okuma rehberi

Problem ve motivasyon

Difüzyon olasılıksal modelleri ilk olarak Sohl-Dickstein et al. (2015) tarafından denge dışı termodinamiğe dayalı olarak tanıtılmış olsa da, ilk iterasyonlar görsel doğruluk açısından GAN'ların ve otoregresif mimarilerin oldukça gerisinde kalmıştı. Genellikle yavaş, ince ayarı zor ve karmaşık, yüksek çözünürlüklü doğal görüntü veri kümelerinde başarısı kanıtlanmamış olarak görülüyorlardı. Yazarlar, varyasyonel hedefleri ile Langevin dinamikleriyle skor eşleme arasında biçimsel bir bağlantı kurarak difüzyon modellerini yeniden incelemeye koyuldular ve uygun parametrelendirme ve hedeflerle difüzyon modellerinin en yüksek algısal örnek kalitesine ulaşabileceğini gösterdiler.

Temel fikirler

• Gürültü Tahmini Parametrelendirmesi: Ters süreç sinir ağı ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$, sonul ortalama ${\tilde{\mathbf{\mu }}}_t$ değerini doğrudan tahmin etmek yerine, ileri adım sırasında eklenen ölçeklenmemiş standart Gauss gürültü vektörünü $\mathbf{ϵ}$ tahmin etmek üzere eğitilir.
• Gürültü Giderici Skor Eşleme (Denoising Score Matching) ile Bağlantı: Denoising diffusion, birden fazla gürültü ölçeğinde gürültü giderici skor eşleme ile örtüşürken, öğrenilen ters zincir varyasyonel çıkarım yoluyla elde edilen tavlanmış bir Langevin dinamikleri örnekleyicisi gibi davranır.
• Basitleştirilmiş Kayıp Fonksiyonu ($L_{\mathrm{simple}}$): Varyasyonel alt sınırdan kesin varyansa bağlı ağırlıklandırmayı çıkarmak, düşük gürültü seviyelerinin ($t\approx 1$) ağırlığını azaltan ve modeli algısal olarak kritik kaba yapılara odaklanmaya zorlayan ağırlıksız bir MSE kaybı üretir.
• Aşamalı Kayıplı Sıkıştırma Bakış Açısı: Analizler, modelin kayıpsız kod uzunluğunun yarısından fazlasının algılanamayan yüksek frekanslı piksel gürültüsünü temsil ettiğini ortaya koymaktadır; bu da difüzyon modellerinin ince dokuyu doldurmadan önce küresel içeriği çözerek oran-bozulmayı (rate-distortion) örtük biçimde optimize ettiği anlamına gelir.

Yöntem

İleri süreç, sabit bir varyans çizelgesi ${\beta }_1,\dots ,{\beta }_T$ ile veriyi ${\mathbf{x}}_0$, $T=1000$ adım boyunca kademeli olarak bozar: $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ ${\alpha }_t=1-{\beta }_t$ ve ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$ kullanılarak, ara gizil değişkenler kapalı formda doğrudan örneklenebilir: $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

Ters zincir $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$, ortalamayı şu şekilde parametrelendirir: $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ burada ${\sigma }_t^2$, ${\beta }_t$ veya ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$ olarak sabitlenir.

Ağ, basitleştirilmiş vekil kayıp kullanılarak optimize edilir: $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ burada $t\sim \text{Uniform}(\{1,\dots ,T\})$ ve $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$'dir.

Örnekleme, ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$'den geriye doğru şu şekilde ilerler: $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ burada $t>1$ için $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ ve $t=1$ olduğunda $\mathbf{z}=0$'dır.

Sonuçlar

• CIFAR-10: $L_{\mathrm{simple}}$ kullanılarak $9.46\pm 0.11$ koşulsuz Inception Skoru (IS) ve $3.17$ FID elde edildi; SNGAN (FID 21.7) ve NCSN (FID 25.32) gibi çağdaş modeller geride bırakıldı.
• Yüksek Çözünürlüklü Sentez: LSUN (Bedroom FID 4.90, Church FID 7.89, Cat FID 19.75) ve CelebA-HQ üzerinde başarılı bir şekilde gerçekçi $256\times 256$ görüntüler üretildi.
• Olabilirlik ve Kalite Dengesi (Likelihood vs. Quality): Tam varyasyonel sınır $L$ ile eğitim, $L_{\mathrm{simple}}$'a göre daha iyi negatif log-olabilirlik (testte $\le 3.70$ bits/dim karşısında $\le 3.75$ bits/dim) sağlarken, $L_{\mathrm{simple}}$ çok daha üstün FID skorları elde etti (13.51'e karşı 3.17).

Sınırlamalar ve açık sorular

• Örnekleme Hızı: Örnekleme, görüntü grubu başına sinir ağının ardışık olarak $T=1000$ kez değerlendirilmesini gerektirir; bu da çıkarımı GAN'lardan veya tek geçişli akış (flow) modellerinden kat kat daha yavaş hale getirir.
• Rekabetçi Log-Olabilirlikler: Modeller, Sparse Transformers gibi saf otoregresif modellerin ham kayıpsız test olabilirlikleriyle (CIFAR-10'da $2.80$ bits/dim elde eden) eşleşmemektedir.
• Sabit Varyans Çizelgelemesi: İleri varyans çizelgesi ${\beta }_t$, öğrenilmek veya uyarlanabilir olarak ölçeklendirilmek yerine doğrusal olarak sabitlenmiştir; bu da doğrusal olmayan çizelgelerin veya öğrenilmiş sürekli dinamiklerin daha fazla iyileştirme sağlayıp sağlayamayacağı sorusunu açık bırakmaktadır.