Denoising Diffusion Probabilistic Models

Leseleitfaden

Problem und Motivation

Obwohl probabilistische Diffusionsmodelle ursprünglich von Sohl-Dickstein et al. (2015) auf Basis der Nichtgleichgewichtsthermodynamik eingeführt wurden, hinkten frühe Varianten hinsichtlich der visuellen Wiedergabetreue deutlich hinter GANs und autoregressiven Architekturen hinterher. Sie galten allgemein als langsam, schwierig abzustimmen und auf komplexen, hochauflösenden natürlichen Bilddatensätzen als unbewiesen. Die Autoren untersuchten Diffusionsmodelle erneut, indem sie eine formale Verbindung zwischen deren Variationszielen und Score Matching mit Langevin-Dynamik herstellten. Sie zeigten, dass Diffusionsmodelle mit geeigneter Parametrisierung und angepassten Zielgrößen eine State-of-the-Art-Wahrnehmungsqualität der Stichproben erreichen können.

Kernideen

• Rauschvorhersage-Parametrisierung (Noise-Prediction Parameterization): Anstatt den posterioren Mittelwert ${\tilde{\mathbf{\mu }}}_t$ direkt vorherzusagen, wird das neuronale Netzwerk des Rückwärtsprozesses ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ darauf trainiert, den unskalierten Standard-Gauß-Rauschvektor $\mathbf{ϵ}$ vorherzusagen, der während des Vorwärtsschritts hinzugefügt wurde.
• Verbindung zu Denoising Score Matching: Denoising Diffusion entspricht Denoising Score Matching über mehrere Rauschskalen hinweg, während die gelernte Rückwärtskette wie ein Annealed-Langevin-Dynamics-Sampler fungiert, der über Variationsinferenz hergeleitet wird.
• Vereinfachte Verlustfunktion ($L_{\mathrm{simple}}$): Das Verwerfen der strikten varianzabhängigen Gewichtung der evidenzbasierten unteren Variationsschranke (Variational Lower Bound) führt zu einem ungewichten MSE-Verlust. Dieser gewichtet niedrige Rauschniveaus ($t\approx 1$) geringer und zwingt das Modell, sich auf perzeptuell entscheidende, grobe Strukturen zu konzentrieren.
• Perspektive der progressiven verlustbehafteten Kompression: Analysen zeigen, dass mehr als die Hälfte der verlustfreien Codelänge des Modells nicht wahrnehmbares hochfrequentes Pixelrauschen repräsentiert. Dies bedeutet, dass Diffusionsmodelle implizit eine Rate-Distortion-Optimierung durchführen, indem sie zuerst globale Inhalte dekodieren, bevor feine Texturen ergänzt werden.

Methode

Der Vorwärtsprozess korrumpiert die Daten ${\mathbf{x}}_0$ schrittweise über $T=1000$ Zeitschritte mit einem festen Varianzplan (Variance Schedule) ${\beta }_1,\dots ,{\beta }_T$: $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ Unter Verwendung von ${\alpha }_t=1-{\beta }_t$ und ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$ können intermediäre latente Zustände direkt in geschlossener Form abgetastet werden: $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

Die Rückwärtskette $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ parametrisiert den Mittelwert wie folgt: $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ wobei ${\sigma }_t^2$ entweder auf ${\beta }_t$ oder ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$ festgelegt ist.

Das Netzwerk wird mit dem vereinfachten Surrogatverlust optimiert: $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ wobei $t\sim \text{Uniform}(\{1,\dots ,T\})$ und $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$.

Das Sampling verläuft rückwärts ausgehend von ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ mittels: $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ mit $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ für $t>1$, und $\mathbf{z}=0$ für $t=1$.

Ergebnisse

• CIFAR-10: Erzielte einen unkonditionierten Inception Score (IS) von $9,46\pm 0,11$ und einen FID von $3,17$ mit $L_{\mathrm{simple}}$ und übertraf damit damalige Vergleichsmodelle wie SNGAN (FID 21,7) und NCSN (FID 25,32).
• Hochauflösende Synthese: Erfolgreiche Generierung realistischer $256\times 256$-Bilder auf LSUN (Bedroom FID 4,90, Church FID 7,89, Cat FID 19,75) und CelebA-HQ.
• Trade-off zwischen Likelihood und Qualität: Während das Training mit der exakten Variationsschranke $L$ bessere negative Log-Likelihood-Werte lieferte ($\le 3,70$ bits/dim Test) als $L_{\mathrm{simple}}$ ($\le 3,75$ bits/dim Test), erzielte $L_{\mathrm{simple}}$ weitaus überlegenere FID-Werte (3,17 gegenüber 13,51).

Grenzen und offene Fragen

• Sampling-Geschwindigkeit: Das Generieren erfordert die sequentielle Ausführung des neuronalen Netzes für $T=1000$ Schritte pro Bild-Batch, was die Inferenz um Größenordnungen langsamer macht als bei GANs oder Single-Pass-Flow-Modellen.
• Vergleichbare Log-Likelihoods: Die Modelle erreichen nicht die rohen, verlustfreien Test-Likelihoods rein autoregressiver Modelle wie Sparse Transformers (die $2,80$ bits/dim auf CIFAR-10 erreichten).
• Fester Varianzplan (Variance Schedule): Der Vorwärtsvarianzplan ${\beta }_t$ wurde linear fixiert anstatt gelernt oder adaptiv skaliert. Es bleibt offen, ob nicht-lineare Zeitpläne oder gelernte kontinuierliche Dynamiken weitere Verbesserungen bringen können.