High-Resolution Image Synthesis with Latent Diffusion Models

Panduan membaca

Masalah dan motivasi

Model probabilistik difusi menghasilkan citra berketepatan tinggi yang mencakup banyak mode dengan membalikkan proses derau maju menggunakan rangkaian denoising autoencoder. Namun, melatih dan mengevaluasinya langsung dalam ruang piksel RGB berdimensi tinggi sangat menuntut komputasi. Pengoptimalan sering kali memakan waktu ratusan GPU days (misalnya, 150 hingga 1.000 V100 days), dan inferensi berurutan multi-langkah dapat memakan waktu berhari-hari untuk evaluasi standar. Karena pemodelan generatif berbasis likelihood menghabiskan kapasitas berlebih pada detail gambar frekuensi tinggi yang tidak terlihat sebelum mempelajari struktur semantik, evaluasi langsung di ruang piksel menyebabkan evaluasi gradien dan fungsi yang sia-sia.

Ide-ide utama

• Dekomposisi dua tahap: Memisahkan kompresi perseptual (menghilangkan detail yang tidak terlihat) dari pemodelan generatif semantik (mempelajari struktur dan komposisi gambar).
• Latent Diffusion Models (LDMs): Melatih model difusi denoising di dalam ruang laten dari sebuah autoencoder yang dilatih dengan perceptual loss dan adversarial loss.
• Kompresi spasial moderat: Berbeda dengan model autoregresif yang memerlukan reduksi spasial besar (misalnya, $f=16$ atau $f=32$), LDM mempertahankan bias induktif spasial dengan UNet konvolusional 2D, memungkinkan faktor downsampling moderat seperti $f=4$ atau $f=8$ yang tetap mempertahankan detail halus.
• Pengondisian cross-attention universal: Menggeneralisasi UNet ke input multimodal (deskripsi teks, bounding box, semantic map) menggunakan encoder spesifik domain yang dipetakan ke dalam lapisan jaringan perantara melalui cross-attention.

Metode

1. Kompresi Gambar Perseptual: Sebuah encoder $\mathcal{E}$ memetakan gambar $x\in {\mathbb{R}}^{H\times W\times 3}$ ke representasi laten berdimensi lebih rendah $z=\mathcal{E}(x)\in {\mathbb{R}}^{h\times w\times c}$, di mana faktor downsampling adalah $f=H/h=W/w=2^m$. Decoder merekonstruksi $\tilde{x}=\mathcal{D}(z)$. Model ini diregulasi menggunakan penalti divergensi KL yang lemah terhadap $\mathcal{N}(0,\mathbb{I})$ (KL-reg.) atau kuantisasi vektor (VQ-reg.) yang diintegrasikan ke dalam decoder.

2. Pemodelan Laten Generatif: Sebuah UNet terkondisi waktu ${ϵ}_{\theta }(z_t,t)$ dilatih pada variabel laten menggunakan objektif denoising terbobot ulang: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t){\Vert }_2^2\right]$$

3. Pengondisian Cross-Attention: Untuk input pengondisian $y$ (misalnya teks, kelas, layout), domain encoder ${\tau }_{\theta }(y)\in {\mathbb{R}}^{M\times d_{\tau }}$ diperkenalkan. Fitur perantara UNet ${\phi }_i(z_t)\in {\mathbb{R}}^{N\times d_{ϵ}^i}$ berinteraksi dengan pengondisian melalui cross-attention: $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V$$ di mana $Q=W_Q^{(i)}{\phi }_i(z_t)$, $K=W_K^{(i)}{\tau }_{\theta }(y)$, dan $V=W_V^{(i)}{\tau }_{\theta }(y)$. Objektif bersyaratnya adalah: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),y,ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t,{\tau }_{\theta }(y)){\Vert }_2^2\right]$$

Hasil

• Trade-off kompresi perseptual: Faktor downsampling $f=4$ dan $f=8$ mencapai keseimbangan terbaik antara akurasi rekonstruksi, kualitas sintesis, dan throughput. Pada ImageNet, selisih FID sebesar 38 poin memisahkan LDM-1 berbasis piksel dari LDM-8 setelah 2 juta langkah pelatihan di bawah anggaran komputasi yang identik.
• Pembangkitan tanpa kondisi: Mencapai FID mutakhir sebesar $5,11$ pada CelebA-HQ ($256\times 256$), $4,98$ pada FFHQ, $4,02$ pada LSUN-Churches, dan $2,95$ pada LSUN-Bedrooms.
• ImageNet terkondisi kelas: LDM-4 dengan classifier-free guidance mencapai FID sebesar $3,60$ dan Inception Score sebesar $247,67$, melampaui ADM ($4,59$) meskipun menggunakan parameter yang lebih sedikit (400M vs. 608M) dan komputasi pelatihan yang jauh lebih hemat (271 vs. 962 V100 days).
• Text-to-image: Model dengan 1,45 miliar parameter (LDM-KL-8-G) mencapai FID sebesar $12,63$ pada MS-COCO dengan 250 langkah DDIM.
• Super-resolution dan inpainting: LDM-4 menetapkan rekor FID inpainting mutakhir baru sebesar $1,50$ pada Places $512\times 512$ (dan $9,39$ pada gambar bermasker sulit 40–50%), sembari beroperasi dengan throughput lebih dari $2,7\times$ lebih tinggi dibandingkan difusi ruang piksel.

Keterbatasan dan pertanyaan terbuka

• Latensi sampling: Meskipun secara signifikan lebih cepat daripada model difusi berbasis piksel, sampling multi-langkah sekuensial masih lebih lambat daripada generator GAN sekali jalan (single-pass).
• Bottleneck rekonstruksi: Bahkan dengan downsampling rendah ($f=4$), kompresi dapat menghilangkan detail piksel frekuensi tinggi yang sangat halus, menjadikannya kurang optimal untuk tugas-tugas kritis piksel yang ultra-presisi.
• Dampak sosial & keselamatan: Biaya komputasi yang lebih rendah mendemokratisasi alat-alat kreatif, namun juga mempermudah pembuatan deepfake dan penyalahgunaan, sekaligus berpotensi mewarisi bias dari dataset berskala web yang tidak terkurasi.