High-Resolution Image Synthesis with Latent Diffusion Models

Guide de lecture

Problème et motivation

Les modèles probabilistes de diffusion génèrent des images de haute fidélité couvrant bien les modes de distribution en inversant un processus de bruitage direct à l'aide d'une séquence d'autoencodeurs de débruitage. Cependant, leur entraînement et leur évaluation directement dans l'espace des pixels RGB de haute dimension sont extrêmement exigeants sur le plan computationnel. L'optimisation nécessite souvent des centaines de jours-GPU (par ex. 150 à 1000 jours V100), et l'échantillonnage séquentiel en plusieurs étapes peut prendre des jours pour les séries d'évaluation standard. Étant donné que la modélisation générative basée sur la vraisemblance consacre une capacité excessive aux détails imperceptibles de haute fréquence avant d'apprendre les structures sémantiques, les évaluations directes dans l'espace pixel conduisent à un gaspillage d'évaluations de gradients et de fonctions.

Idées clés

• Décomposition en deux étapes : Séparer la compression perceptuelle (élimination des détails imperceptibles) de la modélisation générative sémantique (apprentissage de la structure et de la composition de l'image).
• Latent Diffusion Models (LDMs) : Entraîner des modèles de diffusion de débruitage dans l'espace latent d'un autoencodeur préalablement entraîné avec des pertes perceptuelles et adversariales.
• Compression spatiale modérée : Contrairement aux modèles autorégressifs qui nécessitent une réduction spatiale importante (par exemple $f=16$ ou $f=32$), les LDMs conservent le biais inductif spatial à l'aide d'un UNet convolutionnel 2D, autorisant des facteurs de sous-échantillonnage modérés tels que $f=4$ ou $f=8$ qui préservent les détails fins.
• Conditionnement universel par cross-attention : Généraliser les architectures UNet aux entrées multimodales (descriptions textuelles, boîtes englobantes, cartes sémantiques) à l'aide d'encodeurs spécifiques au domaine, projetés dans les couches intermédiaires du réseau via des mécanismes de cross-attention.

Méthode

1. Compression d'image perceptuelle : Un encodeur $\mathcal{E}$ projette une image $x\in {\mathbb{R}}^{H\times W\times 3}$ vers une représentation latente de dimension inférieure $z=\mathcal{E}(x)\in {\mathbb{R}}^{h\times w\times c}$, où le facteur de sous-échantillonnage est $f=H/h=W/w=2^m$. Un décodeur reconstruit $\tilde{x}=\mathcal{D}(z)$. Le modèle est régularisé soit à l'aide d'une faible pénalité de divergence KL vers $\mathcal{N}(0,\mathbb{I})$ (KL-reg.), soit par quantification vectorielle (VQ-reg.) intégrée au décodeur.

2. Modélisation générative dans l'espace latent : Un UNet conditionné par le temps ${ϵ}_{\theta }(z_t,t)$ est entraîné sur les représentations latentes en utilisant l'objectif de débruitage repondéré : $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t){\Vert }_2^2\right]$$

3. Conditionnement par cross-attention : Pour une entrée de conditionnement $y$ (par exemple du texte, des classes, des agencements), un encodeur de domaine ${\tau }_{\theta }(y)\in {\mathbb{R}}^{M\times d_{\tau }}$ est introduit. Les caractéristiques intermédiaires de l'UNet ${\phi }_i(z_t)\in {\mathbb{R}}^{N\times d_{ϵ}^i}$ interagissent avec le conditionnement via la cross-attention : $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V$$ où $Q=W_Q^{(i)}{\phi }_i(z_t)$, $K=W_K^{(i)}{\tau }_{\theta }(y)$, et $V=W_V^{(i)}{\tau }_{\theta }(y)$. L'objectif conditionnel devient : $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),y,ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t,{\tau }_{\theta }(y)){\Vert }_2^2\right]$$

Résultats

• Compromis de compression perceptuelle : Les facteurs de sous-échantillonnage $f=4$ et $f=8$ offrent le meilleur équilibre entre précision de reconstruction, qualité de synthèse et débit de traitement. Sur ImageNet, un écart de FID de 38 points sépare le modèle LDM-1 basé sur les pixels de LDM-8 après 2M d'étapes d'entraînement à budgets de calcul identiques.
• Génération inconditionnelle : Obtention d'un FID à l'état de l'art de $5,11$ sur CelebA-HQ ($256\times 256$), $4,98$ sur FFHQ, $4,02$ sur LSUN-Churches et $2,95$ sur LSUN-Bedrooms.
• ImageNet conditionné par classe : LDM-4 avec classifier-free guidance a atteint un FID de $3,60$ et un Inception Score de $247,67$, surpassant ADM ($4,59$) tout en nécessitant moins de paramètres (400M contre 608M) et nettement moins de calcul à l'entraînement (271 contre 962 jours V100).
• Texte-vers-image : Un modèle de 1,45 milliard de paramètres (LDM-KL-8-G) a atteint un FID de $12,63$ sur MS-COCO avec 250 étapes DDIM.
• Super-résolution et inpainting : LDM-4 a établi un nouvel état de l'art en inpainting avec un FID de $1,50$ sur Places $512\times 512$ (et $9,39$ sur les masques difficiles à 40–50 %), tout en fonctionnant à un débit plus de $2,7\times$ supérieur à la diffusion dans l'espace pixel.

Limites et questions ouvertes

• Latence d'échantillonnage : Bien que nettement plus rapide que les modèles de diffusion dans l'espace des pixels, l'échantillonnage séquentiel en plusieurs étapes reste plus lent que les générateurs GAN en une seule passe.
• Goulot d'étranglement de la reconstruction : Même avec un sous-échantillonnage faible ($f=4$), la compression peut perdre des détails fins de haute fréquence au niveau du pixel, ce qui la rend sous-optimale pour des tâches ultra-précises où chaque pixel compte.
• Impact sociétal et sécurité : L'abaissement des barrières de calcul démocratise les outils créatifs mais facilite également la création de deepfakes et les usages malveillants, tout en risquant d'hériter des biais présents dans les jeux de données d'entraînement à l'échelle du web non filtrés.