Latent Diffusion Models ile Yüksek Çözünürlüklü Görüntü Sentezi

Okuma rehberi

Problem ve motivasyon

Olasılıksal difüzyon modelleri (diffusion probabilistic models), ileri yönlü bir gürültü sürecini bir dizi gürültü giderici otokodlayıcı ile tersine çevirerek yüksek doğruluğa sahip ve modları kapsayan görüntüler üretir. Ancak bunları doğrudan yüksek boyutlu RGB piksel uzayında eğitmek ve değerlendirmek hesaplama açısından oldukça zorludur. Optimizasyon genellikle yüzlerce GPU günü (örneğin 150 ila 1000 V100 günü) sürer ve çok adımlı ardışık örnekleme, standart değerlendirme çalıştırmaları için günleri bulabilir. Olabilirlik tabanlı (likelihood-based) üretici modelleme, anlamsal yapıları öğrenmeden önce fark edilemeyen yüksek frekanslı görüntü ayrıntılarına aşırı kapasite harcadığından, doğrudan piksel uzayı değerlendirmeleri israflı gradyan ve fonksiyon değerlendirmelerine yol açar.

Temel fikirler

• İki aşamalı ayrıştırma: Algısal sıkıştırmayı (fark edilemeyen ayrıntıların elenmesi) anlamsal üretici modellemeden (görüntü yapısını ve kompozisyonunu öğrenme) ayırmak.
• Latent Diffusion Models (LDM'ler): Gürültü giderici difüzyon modellerini, algısal ve çekişmeli (adversarial) kayıplarla eğitilmiş bir otokodlayıcının latent uzayında eğitmek.
• Ilımlı uzamsal sıkıştırma: Ağır uzamsal indirgemeye ihtiyaç duyan otoregresif modellerin (ör. $f=16$ veya $f=32$) aksine LDM'ler, 2D evrişimsel bir UNet ile uzamsal tümevarımsal önyargıyı korur; bu sayede ince ayrıntıları muhafaza eden $f=4$ veya $f=8$ gibi ılımlı alt örnekleme faktörlerine olanak tanır.
• Evrensel cross-attention koşullandırması: Cross-attention aracılığıyla ara ağ katmanlarına eşlenen alana özgü kodlayıcılar kullanarak UNet'leri çok modlu girdilere (metin açıklamaları, sınırlayıcı kutular, anlamsal haritalar) genelleştirmek.

Yöntem

1. Algısal Görüntü Sıkıştırma (Perceptual Image Compression): Bir kodlayıcı $\mathcal{E}$, bir $x\in {\mathbb{R}}^{H\times W\times 3}$ görüntüsünü daha düşük boyutlu bir latent temsile $z=\mathcal{E}(x)\in {\mathbb{R}}^{h\times w\times c}$ eşler; burada alt örnekleme faktörü $f=H/h=W/w=2^m$'dir. Bir kod çözücü ise görüntüyü $\tilde{x}=\mathcal{D}(z)$ olarak yeniden oluşturur. Model, standart bir normale doğru zayıf bir KL-ıraksaması cezası (KL-reg.) veya kod çözücüye entegre edilmiş vektör kuantizasyonu (VQ-reg.) kullanılarak düzenlileştirilir.

2. Üretici Latent Modelleme (Generative Latent Modeling): Latent temsiller üzerinde yeniden ağırlıklandırılmış gürültü giderme hedefi kullanılarak zamana bağlı bir UNet ${ϵ}_{\theta }(z_t,t)$ eğitilir: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t){\Vert }_2^2\right]$$

3. Cross-Attention Koşullandırması: Koşullandırma girdisi $y$ (örneğin metin, sınıflar, yerleşimler) için alana özgü bir kodlayıcı ${\tau }_{\theta }(y)\in {\mathbb{R}}^{M\times d_{\tau }}$ tanıtılır. Ara UNet öznitelikleri ${\phi }_i(z_t)\in {\mathbb{R}}^{N\times d_{ϵ}^i}$, cross-attention yoluyla koşullandırma ile etkileşime girer: $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V$$ burada $Q=W_Q^{(i)}{\phi }_i(z_t)$, $K=W_K^{(i)}{\tau }_{\theta }(y)$ ve $V=W_V^{(i)}{\tau }_{\theta }(y)$'dir. Koşullu hedef fonksiyonu şöyledir: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),y,ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t,{\tau }_{\theta }(y)){\Vert }_2^2\right]$$

Sonuçlar

• Algısal sıkıştırma dengesi: Alt örnekleme faktörleri $f=4$ ve $f=8$, yeniden yapılandırma doğruluğu, sentez kalitesi ve verim arasında en iyi dengeyi kurar. ImageNet üzerinde, aynı hesaplama bütçesi altında 2 milyon eğitim adımının ardından piksel tabanlı LDM-1 ile LDM-8 arasında 38 puanlık bir FID farkı bulunmaktadır.
• Koşulsuz üretim: CelebA-HQ ($256\times 256$) üzerinde $5.11$, FFHQ üzerinde $4.98$, LSUN-Churches üzerinde $4.02$ ve LSUN-Bedrooms üzerinde $2.95$ ile son teknoloji FID değerleri elde edildi.
• Sınıf koşullu ImageNet: Classifier-free guidance içeren LDM-4, $3.60$ FID ve $247.67$ Inception Score değerine ulaşarak daha az parametre (400M'ye karşılık 608M) ve önemli ölçüde daha az eğitim kaynağı (271'e karşılık 962 V100 günü) ile ADM'yi ($4.59$) geride bıraktı.
• Metinden görüntüye (Text-to-image): 1,45 milyar parametreli bir model (LDM-KL-8-G), MS-COCO üzerinde 250 DDIM adımıyla $12.63$ FID elde etti.
• Süper çözünürlük ve inpainting: LDM-4, Places $512\times 512$ üzerinde $1.50$ (ve zorlu %40–50 maskeli görüntülerde $9.39$) inpainting FID değeriyle yeni bir son teknoloji belirlerken, piksel uzayı difüzyonuna kıyasla $2.7\times$ katın üzerinde daha yüksek verimle çalıştı.

Kısıtlamalar ve açık sorular

• Örnekleme gecikmesi: Piksel tabanlı difüzyon modellerinden önemli ölçüde daha hızlı olsa da çok adımlı ardışık örnekleme, tek geçişli GAN üreticilerine göre hâlâ daha yavaştır.
• Yeniden yapılandırma darboğazı: Düşük alt örneklemede ($f=4$) bile sıkıştırma, ince taneli yüksek frekanslı piksel ayrıntılarını kaybedebilir ve bu da onu piksel hassasiyeti kritik olan ultra hassas görevler için biraz yetersiz kılabilir.
• Toplumsal etki ve güvenlik: Düşük hesaplama bariyeri yaratıcı araçları demokratikleştirirken, aynı zamanda deepfake üretimini ve kötüye kullanımı kolaylaştırır; ayrıca filtrelenmemiş web ölçeğindeki eğitim veri kümelerinden gelen önyargıları devralma riski taşır.