Denoising Diffusion Probabilistic Models

Guia de leitura

Problema e motivação

Embora os modelos probabilísticos de difusão tenham sido introduzidos originalmente por Sohl-Dickstein et al. (2015) com base na termodinâmica de não equilíbrio, as primeiras iterações ficaram significativamente atrás de GANs e arquiteturas autorregressivas em fidelidade visual. Eles eram geralmente vistos como lentos, difíceis de ajustar e não comprovados em conjuntos de dados complexos de imagens naturais em alta resolução. Os autores se propuseram a reexaminar os modelos de difusão estabelecendo uma conexão formal entre seus objetivos variacionais e o score matching com Langevin dynamics, demonstrando que, com a parametrização e os objetivos apropriados, os modelos de difusão podem alcançar qualidade perceptual de amostragem no estado da arte.

Ideias centrais

• Parametrização por predição de ruído: Em vez de prever a média a posteriori ${\tilde{\mathbf{\mu }}}_t$ diretamente, a rede neural do processo reverso ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ é treinada para prever o vetor de ruído gaussiano padrão não escalonado $\mathbf{ϵ}$ adicionado durante o passo direto (forward).
• Conexão com Denoising Score Matching: A difusão com denoising corresponde ao denoising score matching em múltiplas escalas de ruído, enquanto a cadeia reversa aprendida atua como um amostrador de annealed Langevin dynamics derivado via inferência variacional.
• Função de perda simplificada ($L_{\mathrm{simple}}$): O descarte da ponderação estrita dependente da variância do limite inferior variacional produz uma perda MSE não ponderada que reduz o peso dos níveis baixos de ruído ($t\approx 1$), forçando o modelo a focar em estruturas grosseiras perceptualmente críticas.
• Visão de compressão progressiva com perdas: A análise revela que mais da metade do comprimento de código sem perdas do modelo representa ruído de pixel de alta frequência imperceptível, o que significa que os modelos de difusão otimizam implicitamente a taxa-distorção, decodificando primeiro o conteúdo global antes de preencher a textura fina.

Método

O processo direto (forward) corrompe incrementalmente os dados ${\mathbf{x}}_0$ ao longo de $T=1000$ passos com um cronograma de variância fixo ${\beta }_1,\dots ,{\beta }_T$: $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ Usando ${\alpha }_t=1-{\beta }_t$ e ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$, os latentes intermediários podem ser amostrados diretamente em forma fechada: $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

A cadeia reversa $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ parametriza a média como: $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ onde ${\sigma }_t^2$ é fixado como ${\beta }_t$ ou ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$.

A rede é otimizada usando a perda substituta simplificada: $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ onde $t\sim \text{Uniform}(\{1,\dots ,T\})$ e $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$.

A amostragem prossegue retroativamente a partir de ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ usando: $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ com $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ para $t>1$, e $\mathbf{z}=0$ quando $t=1$.

Resultados

• CIFAR-10: Obteve um Inception Score (IS) incondicional de $9,46\pm 0,11$ e um FID de $3,17$ usando $L_{\mathrm{simple}}$, superando concorrentes contemporâneos como SNGAN (FID 21,7) e NCSN (FID 25,32).
• Síntese em alta resolução: Gerou com sucesso imagens realistas de $256\times 256$ em LSUN (Bedroom FID 4,90; Church FID 7,89; Cat FID 19,75) e CelebA-HQ.
• Trade-off entre verossimilhança e qualidade: Embora o treinamento com o limite variacional exato $L$ tenha fornecido melhores log-verossimilhanças negativas ($\le 3,70$ bits/dim em teste) do que $L_{\mathrm{simple}}$ ($\le 3,75$ bits/dim em teste), $L_{\mathrm{simple}}$ alcançou escores FID vastamente superiores (3,17 vs. 13,51).

Limitações e questões em aberto

• Velocidade de amostragem: A amostragem requer avaliar a rede neural $T=1000$ vezes sequenciais por lote de imagens, tornando a inferência ordens de grandeza mais lenta do que GANs ou modelos de fluxo de passagem única.
• Log-verossimilhanças competitivas: Os modelos não alcançam as verossimilhanças puras sem perdas de teste de modelos totalmente autorregressivos como Sparse Transformers (que atingiram $2,80$ bits/dim no CIFAR-10).
• Cronograma de variância fixo: O cronograma de variância forward ${\beta }_t$ foi fixado linearmente em vez de ser aprendido ou escalonado de forma adaptativa, deixando em aberto se cronogramas não lineares ou dinâmicas contínuas aprendidas poderiam proporcionar melhorias adicionais.