Denoising Diffusion Probabilistic Models

Guide de lecture

Problème et motivation

Bien que les modèles probabilistes de diffusion aient été initialement introduits par Sohl-Dickstein et al. (2015) sur la base de la thermodynamique hors équilibre, leurs premières versions accusaient un retard significatif par rapport aux GANs et aux architectures autorégressives en matière de fidélité visuelle. Ils étaient généralement perçus comme lents, difficiles à ajuster et non éprouvés sur des jeux de données d'images naturelles complexes et à haute résolution. Les auteurs ont entrepris de réexaminer les modèles de diffusion en établissant un lien formel entre leurs objectifs variationnels et le score matching avec la dynamique de Langevin, démontrant qu'avec une paramétrisation et des objectifs appropriés, les modèles de diffusion peuvent atteindre une qualité d'échantillonnage perceptuelle au niveau de l'état de l'art.

Idées clés

• Paramétrisation par prédiction du bruit : Plutôt que de prédire directement la moyenne a posteriori ${\tilde{\mathbf{\mu }}}_t$, le réseau de neurones du processus inverse ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ est entraîné à prédire le vecteur de bruit gaussien standard non mis à l'échelle $\mathbf{ϵ}$ ajouté lors de l'étape directe.
• Lien avec le Denoising Score Matching : La diffusion par débruitage correspond à du denoising score matching sur plusieurs échelles de bruit, tandis que la chaîne inverse apprise agit comme un échantillonneur de dynamique de Langevin avec recuit dérivé par inférence variationnelle.
• Fonction de perte simplifiée ($L_{\mathrm{simple}}$) : L'abandon de la pondération stricte dépendant de la variance issue de la borne inférieure variationnelle produit une perte MSE non pondérée qui sous-pondère les faibles niveaux de bruit ($t\approx 1$), forçant le modèle à se concentrer sur les structures globales perceptuellement critiques.
• Perspective de compression avec perte progressive : L'analyse révèle que plus de la moitié de la longueur de code sans perte du modèle représente du bruit de pixel haute fréquence imperceptible, ce qui signifie que les modèles de diffusion optimisent implicitement le taux-distorsion en décodant d'abord le contenu global avant d'ajouter les textures fines.

Méthode

Le processus direct corrompt progressivement les données ${\mathbf{x}}_0$ sur $T=1000$ étapes avec une planification de variance fixe ${\beta }_1,\dots ,{\beta }_T$ : $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ En utilisant ${\alpha }_t=1-{\beta }_t$ et ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$, les variables latentes intermédiaires peuvent être directement échantillonnées sous forme fermée : $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

La chaîne inverse $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ paramétrise la moyenne selon : $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ où ${\sigma }_t^2$ est fixé soit à ${\beta }_t$, soit à ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$.

Le réseau est optimisé à l'aide de la perte de substitution simplifiée : $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ où $t\sim \text{Uniform}(\{1,\dots ,T\})$ et $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$.

L'échantillonnage s'effectue en sens inverse à partir de ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ en utilisant : $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ avec $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ pour $t>1$, et $\mathbf{z}=0$ lorsque $t=1$.

Résultats

• CIFAR-10 : Atteinte d'un Inception Score (IS) inconditionnel de $9,46\pm 0,11$ et d'un FID de $3,17$ avec $L_{\mathrm{simple}}$, surpassant des contemporains comme SNGAN (FID 21,7) et NCSN (FID 25,32).
• Synthèse haute résolution : Génération réussie d'images réalistes en $256\times 256$ sur LSUN (Bedroom FID 4,90, Church FID 7,89, Cat FID 19,75) et CelebA-HQ.
• Compromis vraisemblance vs qualité : Bien que l'entraînement avec la borne variationnelle exacte $L$ produise de meilleures log-vraisemblances négatives ($\le 3,70$ bits/dim en test) que $L_{\mathrm{simple}}$ ($\le 3,75$ bits/dim en test), $L_{\mathrm{simple}}$ obtient des scores FID nettement supérieurs (3,17 contre 13,51).

Limites et questions ouvertes

• Vitesse d'échantillonnage : L'échantillonnage nécessite d'évaluer le réseau de neurones $T=1000$ fois séquentiellement par lot d'images, ce qui rend l'inférence des ordres de grandeur plus lente que les GANs ou les modèles de flux en une seule passe.
• Log-vraisemblances compétitives : Les modèles n'égalent pas les log-vraisemblances brutes de test sans perte des modèles purement autorégressifs tels que les Sparse Transformers (qui atteignent $2,80$ bits/dim sur CIFAR-10).
• Planification de variance fixe : La planification de la variance directe ${\beta }_t$ a été fixée de manière linéaire plutôt qu'apprise ou ajustée de façon adaptative, laissant ouverte la question de savoir si des planifications non linéaires ou des dynamiques continues apprises pourraient apporter d'autres améliorations.