High-Resolution Image Synthesis with Latent Diffusion Models

Guia de leitura

Problema e motivação

Os diffusion probabilistic models geram imagens de alta fidelidade e cobertura de modos ao inverter um processo de ruído direto com uma sequência de autoencoders de denoising. No entanto, treiná-los e avaliá-los diretamente no espaço de pixels RGB de alta dimensão é computacionalmente exigente. A otimização frequentemente leva centenas de dias de GPU (por exemplo, de 150 a 1000 dias de V100), e a amostragem sequencial de múltiplas etapas pode levar dias para execuções de avaliação padrão. Como a modelagem generativa baseada em máxima verossimilhança aloca capacidade excessiva em detalhes imperceptíveis de alta frequência da imagem antes de aprender estruturas semânticas, as avaliações diretas no espaço de pixels resultam em um desperdício de gradientes e de avaliações de funções.

Ideias principais

• Decomposição em dois estágios: Separação da compressão perceptual (eliminação de detalhes imperceptíveis) da modelagem generativa semântica (aprendizado da estrutura e composição da imagem).
• Latent Diffusion Models (LDMs): Treinamento de diffusion models de denoising dentro do espaço latente de um autoencoder treinado com perdas perceptuais e adversariais.
• Compressão espacial moderada: Ao contrário de modelos autorregressivos que requerem uma redução espacial agressiva (como $f=16$ ou $f=32$), os LDMs mantêm o viés indutivo espacial com uma UNet convolucional 2D, permitindo fatores moderados de downsampling como $f=4$ ou $f=8$, que preservam detalhes finos.
• Condicionamento universal por cross-attention: Generalização de UNets para entradas multimodais (descrições textuais, bounding boxes, mapas semânticos) usando encoders específicos de domínio mapeados nas camadas intermediárias da rede via cross-attention.

Método

1. Compressão Perceptual de Imagem: Um encoder $\mathcal{E}$ mapeia uma imagem $x\in {\mathbb{R}}^{H\times W\times 3}$ para uma representação latente de menor dimensão $z=\mathcal{E}(x)\in {\mathbb{R}}^{h\times w\times c}$, onde o fator de downsampling é $f=H/h=W/w=2^m$. Um decoder reconstrói $\tilde{x}=\mathcal{D}(z)$. O modelo é regularizado usando uma penalidade suave de divergência KL em direção a $\mathcal{N}(0,\mathbb{I})$ (KL-reg.) ou quantização vetorial (VQ-reg.) absorvida no decoder.

2. Modelagem Generativa Latente: Uma UNet condicionada no tempo ${ϵ}_{\theta }(z_t,t)$ é treinada sobre as variáveis latentes usando o objetivo de denoising reponderado: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t){\Vert }_2^2\right]$$

3. Condicionamento por Cross-Attention: Para uma entrada de condicionamento $y$ (como texto, classes ou layouts), introduz-se um encoder de domínio ${\tau }_{\theta }(y)\in {\mathbb{R}}^{M\times d_{\tau }}$. Features intermediárias da UNet ${\phi }_i(z_t)\in {\mathbb{R}}^{N\times d_{ϵ}^i}$ interagem com o condicionamento via cross-attention: $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V$$ onde $Q=W_Q^{(i)}{\phi }_i(z_t)$, $K=W_K^{(i)}{\tau }_{\theta }(y)$ e $V=W_V^{(i)}{\tau }_{\theta }(y)$. O objetivo condicional é: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),y,ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t,{\tau }_{\theta }(y)){\Vert }_2^2\right]$$

Resultados

• Trade-off da compressão perceptual: Os fatores de downsampling $f=4$ e $f=8$ atingem o melhor equilíbrio entre precisão de reconstrução, qualidade de síntese e throughput. No ImageNet, uma diferença de FID de 38 pontos separa o LDM-1 (baseado em pixels) do LDM-8 após 2M de passos de treino sob orçamentos computacionais idênticos.
• Geração incondicional: Alcançou FID no estado da arte de $5,11$ no CelebA-HQ ($256\times 256$), $4,98$ no FFHQ, $4,02$ no LSUN-Churches e $2,95$ no LSUN-Bedrooms.
• ImageNet condicional por classe: O LDM-4 com classifier-free guidance atingiu um FID de $3,60$ e Inception Score de $247,67$, superando o ADM ($4,59$) enquanto exigiu menos parâmetros (400M vs. 608M) e computação de treino substancialmente menor (271 vs. 962 dias de V100).
• Texto para imagem (Text-to-image): Um modelo de 1,45B de parâmetros (LDM-KL-8-G) atingiu um FID de $12,63$ no MS-COCO com 250 passos de DDIM.
• Super-resolução e inpainting: O LDM-4 estabeleceu um novo estado da arte de FID em inpainting de $1,50$ no Places $512\times 512$ (e $9,39$ em imagens desafiadoras com 40–50% de máscara), operando com uma taxa de processamento mais de $2,7\times$ superior à difusão no espaço de pixels.

Limitações e questões em aberto

• Latência de amostragem: Embora seja significativamente mais rápida que os diffusion models baseados em pixels, a amostragem sequencial de múltiplas etapas ainda é mais lenta do que a geração em uma única etapa de GANs.
• Gargalo de reconstrução: Mesmo com downsampling baixo ($f=4$), a compressão pode perder detalhes finos de alta frequência no nível do pixel, tornando-se ligeiramente subótima para tarefas ultracríticas de precisão ao nível de pixel.
• Impacto social e segurança: Barreiras computacionais mais baixas democratizam ferramentas criativas, mas também facilitam a criação de deepfakes e o mau uso, além de potencialmente herdarem vieses de conjuntos de dados da web não curados.