High-Resolution Image Synthesis with Latent Diffusion Models

Leseleitfaden

Problem und Motivation

Probabilistische Diffusionsmodelle generieren hochgradig getreue, Mode-abdeckende Bilder, indem sie einen Vorwärts-Rauschprozess mit einer Sequenz von Denoising-Autoencodern invertieren. Ihr Training und ihre Evaluierung direkt im hochdimensionalen RGB-Pixelraum sind jedoch rechenintensiv. Die Optimierung erfordert oft Hunderte von GPU-Tagen (z. B. 150 bis 1000 V100-Tage), und das mehrstufige sequentielle Sampling kann für Standard-Evaluierungsläufe Tage in Anspruch nehmen. Da die Likelihood-basierte generative Modellierung übermäßig viel Kapazität für hochfrequente, nicht wahrnehmbare Bilddetails aufwendet, bevor sie semantische Strukturen lernt, führen direkte Auswertungen im Pixelraum zu verschwenderischen Gradienten- und Funktionsberechnungen.

Kernideen

• Zweistufige Zerlegung: Trennung der perzeptuellen Kompression (Entfernung nicht wahrnehmbarer Details) von der semantischen generativen Modellierung (Lernen von Bildstruktur und -komposition).
• Latent Diffusion Models (LDMs): Training von Denoising-Diffusionsmodellen im latenten Raum eines Autoencoders, der mit perzeptuellen und adversariellen Losses trainiert wurde.
• Moderate räumliche Kompression: Im Gegensatz zu autoregressiven Modellen, die eine starke räumliche Reduktion benötigen (z. B. $f=16$ oder $f=32$), behalten LDMs den räumlichen induktiven Bias mit einem 2D-Faltungs-UNet bei, was moderate Downsampling-Faktoren wie $f=4$ oder $f=8$ ermöglicht, die feine Details bewahren.
• Universelle Cross-Attention-Konditionierung: Generalisierung von UNets auf multimodale Eingaben (Textbeschreibungen, Bounding Boxes, semantische Karten) unter Verwendung domänenspezifischer Encoder, die über Cross-Attention in Zwischenschichten des Netzwerks eingebunden werden.

Methode

1. Perzeptuelle Bildkompression: Ein Encoder $\mathcal{E}$ bildet ein Bild $x\in {\mathbb{R}}^{H\times W\times 3}$ auf eine niederdimensionale latente Repräsentation $z=\mathcal{E}(x)\in {\mathbb{R}}^{h\times w\times c}$ ab, wobei der Downsampling-Faktor $f=H/h=W/w=2^m$ beträgt. Ein Decoder rekonstruiert $\tilde{x}=\mathcal{D}(z)$. Das Modell wird entweder über eine schwache KL-Divergenz-Strafe in Richtung $\mathcal{N}(0,\mathbb{I})$ (KL-reg.) oder durch Vektorquantisierung (VQ-reg.), die in den Decoder integriert ist, regularisiert.

2. Generative latente Modellierung: Ein zeitkonditioniertes UNet ${ϵ}_{\theta }(z_t,t)$ wird auf den Latents unter Verwendung des neu gewichteten Denoising-Ziels trainiert: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t){\Vert }_2^2\right]$$

3. Cross-Attention-Konditionierung: Für eine Konditionierungseingabe $y$ (z. B. Text, Klassen, Layouts) wird ein Domänen-Encoder ${\tau }_{\theta }(y)\in {\mathbb{R}}^{M\times d_{\tau }}$ eingeführt. Zwischenmerkmale des UNets ${\phi }_i(z_t)\in {\mathbb{R}}^{N\times d_{ϵ}^i}$ interagieren über Cross-Attention mit der Konditionierung: $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V$$ wobei $Q=W_Q^{(i)}{\phi }_i(z_t)$, $K=W_K^{(i)}{\tau }_{\theta }(y)$ und $V=W_V^{(i)}{\tau }_{\theta }(y)$ sind. Das konditionierte Trainingsziel lautet: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),y,ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t,{\tau }_{\theta }(y)){\Vert }_2^2\right]$$

Ergebnisse

• Kompromiss bei der perzeptuellen Kompression: Die Downsampling-Faktoren $f=4$ und $f=8$ bieten das beste Gleichgewicht zwischen Rekonstruktionsgenauigkeit, Synthesequalität und Durchsatz. Auf ImageNet trennt nach 2 Millionen Trainingsschritten bei identischem Rechenbudget ein FID-Abstand von 38 Punkten das pixelbasierte LDM-1 vom LDM-8.
• Unkonditionierte Generierung: Erzielt State-of-the-Art-FID von $5,11$ auf CelebA-HQ ($256\times 256$), $4,98$ auf FFHQ, $4,02$ auf LSUN-Churches und $2,95$ auf LSUN-Bedrooms.
• Klassen-konditioniertes ImageNet: LDM-4 mit Classifier-Free Guidance erreichte einen FID von $3,60$ und einen Inception Score von $247,67$ und übertraf damit ADM ($4,59$) bei weniger Parametern (400M vs. 608M) und deutlich geringerem Trainingsaufwand (271 vs. 962 V100-Tage).
• Text-to-Image: Ein Modell mit 1,45 Milliarden Parametern (LDM-KL-8-G) erzielte einen FID von $12,63$ auf MS-COCO mit 250 DDIM-Schritten.
• Super-Resolution und Inpainting: LDM-4 setzte mit einem Inpainting-FID von $1,50$ auf Places $512\times 512$ (und $9,39$ auf stark maskierten Bildern mit 40–50 % Maskierung) einen neuen State of the Art, während es mit einem mehr als $2,7\times$ höheren Durchsatz als pixelbasierte Diffusionsmodelle arbeitete.

Einschränkungen und offene Fragen

• Sampling-Latenz: Obwohl wesentlich schneller als pixelbasierte Diffusionsmodelle, ist das sequentielle mehrstufige Sampling immer noch langsamer als GAN-Generatoren im Single-Pass-Verfahren.
• Rekonstruktions-Bottleneck: Selbst bei geringem Downsampling ($f=4$) kann die Kompression feinkörnige, hochfrequente Pixeldetails verlieren, was das Verfahren für ultra-präzise, pixelkritische Aufgaben leicht suboptimal macht.
• Gesellschaftliche Auswirkungen & Sicherheit: Geringere Hürden beim Rechenaufwand demokratisieren kreative Werkzeuge, erleichtern jedoch auch die Erstellung von Deepfakes und Missbrauch, während gleichzeitig Verzerrungen (Biases) aus unkuratierten, webbasierten Trainingsdatensätzen übernommen werden können.