High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

論文 · arXiv 2112.10752

使用潛在擴散模型進行高解析度影像合成 (High-Resolution Image Synthesis with Latent Diffusion Models)

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

發表於 2021-12-20cs.CV arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 標準的像素空間擴散模型在迭代去噪步驟中耗費大量運算與記憶體來建模難以察覺的高頻細節。
🔧 透過交叉注意力條件機制，在預訓練自動編碼器的低維度潛在空間中訓練擴散模型，將感知壓縮與生成建模解耦。
📈 在 CelebA-HQ 上達到 5.11 的頂尖 FID，在類別條件 ImageNet 256x256 上達到 3.60 FID，且與像素空間擴散模型相比大幅降低了訓練與推論的運算量。

摘要

透過將影像生成過程分解為去噪自動編碼器的循序應用，擴散模型（DMs）在影像數據及其他領域實現了頂尖的合成成果。此外，它們的架構允許在不重新訓練的情況下使用導引機制來控制影像生成過程。然而，由於這些模型通常直接在像素空間中運作，優化強大的 DMs 往往需要消耗數百個 GPU 天，且循序評估使得推論成本極為昂貴。為了在有限的運算資源下實現 DM 訓練，同時保留其品質與靈活性，我們將它們應用於強大預訓練自動編碼器的潛在空間中。與先前的研究相比，在此種表徵上訓練擴散模型首次在降低複雜度與保留細節之間達到了近乎最佳的平衡點，大幅提升了視覺逼真度。透過在模型架構中引入交叉注意力層（cross-attention layers），我們將擴散模型轉變為功能強大且靈活的生成器，適用於文字或邊界框等通用條件輸入，並能以卷積方式實現高解析度合成。我們的潛在擴散模型（LDMs）在影像修復（inpainting）上樹立了新的頂尖水準，並在無條件影像生成、語義場景合成與超解析度等各種任務中展現了極具競爭力的性能，同時與基於像素的 DMs 相比大幅降低了運算需求。程式碼可於 https://github.com/CompVis/latent-diffusion 取得。

英文原文摘要

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

論文解讀

問題與動機

擴散機率模型透過使用一系列去噪自動編碼器來反轉前向雜訊過程，從而生成高逼真度、覆蓋各類模式（mode-covering）的影像。然而，直接在高維度的 RGB 像素空間中訓練與評估它們在計算上極具挑戰性。優化通常需要耗費數百個 GPU 天（例如 150 到 1000 個 V100 天），且多步循序取樣在標準評估執行中可能需要耗時數天。由於基於似然（likelihood-based）的生成模型在學習語義結構之前，會將過多容量浪費在難以察覺的高頻影像細節上，因此直接在像素空間進行評估會導致漸變與函數評估的浪費。

核心概念

兩階段解耦：將感知壓縮（去除難以察覺的細節）與語義生成建模（學習影像結構與構圖）分開。
潛在擴散模型（LDMs）：在結合感知損失與對抗損失訓練的自動編碼器之潛在空間中，訓練去噪擴散模型。
適度空間壓縮：不同於需要極大空間縮減（如 $f = 16$ 或 $f = 32$ ）的自迴歸模型，LDMs 使用 2D 卷積 UNet 維持空間歸納偏置（spatial inductive bias），允許適度的降取樣因子（如 $f = 4$ 或 $f = 8$ ）以保留精細細節。
通用交叉注意力條件機制：使用特定領域編碼器，透過交叉注意力機制映射至網路的中間層，將 UNet 通用化以支援多模態輸入（文字描述、邊界框、語義圖）。

方法

感知影像壓縮（Perceptual Image Compression）：編碼器 $E$ 將影像 $x \in R^{H \times W \times 3}$ 映射至低維度潛在表徵 $z = E (x) \in R^{h \times w \times c}$ ，其中降取樣因子 $f = H / h = W / w = 2^{m}$ 。解碼器重建影像 $\tilde{x} = D (z)$ 。模型使用朝向 $N (0, I)$ 的微弱 KL 散度懲罰（KL-reg.）或吸納進解碼器中的向量量化（VQ-reg.）進行正規化。
生成式潛在建模（Generative Latent Modeling）：時間條件 UNet $ϵ_{θ} (z_{t}, t)$ 在潛在變數上透過重新加權的去噪目標進行訓練： $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
交叉注意力條件機制（Cross-Attention Conditioning）：針對條件輸入 $y$ （例如文字、類別、佈局），引入領域編碼器 $τ_{θ} (y) \in R^{M \times d_{τ}}$ 。中間 UNet 特徵 $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ 透過交叉注意力與條件進行互動： $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ 其中 $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ 、 $K = W_{K}^{(i)} τ_{θ} (y)$ 且 $V = W_{V}^{(i)} τ_{θ} (y)$ 。條件目標為： $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

結果

感知壓縮權衡：降取樣因子 $f = 4$ 與 $f = 8$ 在重建精確度、合成品質與吞吐量之間達到了最佳平衡。在相同運算預算下訓練 2M 步後，ImageNet 上基於像素的 LDM-1 與 LDM-8 之間存在 38 點的 FID 差距。
無條件生成：在 CelebA-HQ ( $256 \times 256$ ) 上達到 $5.11$ 的頂尖 FID，FFHQ 為 $4.98$ ，LSUN-Churches 為 $4.02$ ，LSUN-Bedrooms 為 $2.95$ 。
類別條件 ImageNet：結合 classifier-free guidance 的 LDM-4 達到 $3.60$ 的 FID 與 $247.67$ 的 Inception Score，超越 ADM ( $4.59$ )，同時所需參數更少（400M 對比 608M），訓練運算量亦顯著降低（271 對比 962 個 V100 天）。
文字轉影像：擁有 1.45B 參數的模型（LDM-KL-8-G）在使用 250 步 DDIM 取樣下，於 MS-COCO 上達到 $12.63$ 的 FID。
超解析度與修復：LDM-4 在 Places $512 \times 512$ 上樹立了新的頂尖影像修復 FID $1.50$ （在困難的 40–50% 遮罩影像上為 $9.39$ ），且運行吞吐量比像素空間擴散模型高出 $2.7 \times$ 以上。

局限性與待解決問題

取樣延遲：雖然比基於像素的擴散模型快得多，但循序多步取樣仍然比單次傳遞的 GAN 生成器慢。
重建瓶頸：即使使用較低的降取樣率（ $f = 4$ ），壓縮過程仍可能遺失細緻的高頻像素細節，這對於極度要求精準像素的任務來說略顯次優。
社會影響與安全：較低的運算門檻使創意工具得以普及，但也降低了深偽（deepfake）與濫用的門檻，同時可能繼承來自未經篩選之網路規模訓練資料集的偏見。

關鍵術語

Latent Diffusion Models (LDMs) (潛在擴散模型): 在經過訓練的自動編碼器所提供的低維度、感知等效潛在空間內進行訓練的擴散模型。
Perceptual Image Compression (感知影像壓縮): 一種第一階段自動編碼模型，透過感知損失與基於 patch 的對抗損失進行訓練，能從影像中去除難以察覺的高頻雜訊。
Cross-Attention (交叉注意力): 一種整合於 UNet 中間層的注意力機制，其中 Query 來自影像表徵，而 Key/Value 則來自條件表徵。
Downsampling Factor ($f$) (降取樣因子): 原始像素維度與自動編碼器潛在網格維度之間的空間縮放比例 $f = H / h = W / w$ 。
KL-reg. / VQ-reg.: 測試的潛在空間正規化方案：朝向標準常態分佈的輕度 Kullback-Leibler 懲罰，或是吸納進解碼器中的向量量化（vector quantization）密碼本層。
Classifier-Free Guidance: 一種取樣技術，透過聯合評估條件與無條件的模型預測來引導生成品質，無需獨立的分類器網路。
Convolutional Sampling (卷積取樣): 在比訓練時更大的空間網格上評估卷積 UNet 模型，以便在語義合成或超解析度等任務中生成高解析度或百萬像素級別的影像。

常見問題

為什麼要在潛在空間而非原始像素空間訓練擴散模型？

像素空間擴散在難以察覺的高頻影像細節上反覆計算漸變與評估網路，浪費了大量運算。透過轉移至自動編碼器的潛在空間，生成模型能以更小的特徵圖純粹專注於語義概念，進而大幅加速訓練與推論。

在 LDMs 中，對文字等非影像資料的條件引導是如何運作的？

非影像條件會被 token 化，並由特定領域的編碼器（例如用於文字的 BERT token 化 Transformer）處理成中間表徵。該表徵隨後透過交叉注意力層注入 UNet 骨幹網路中。

哪個降取樣因子 $f$ 能提供最佳性能？

降取樣因子 $f = 4$ 與 $f = 8$ 達到了最佳平衡。較小的因子（ $f = 1, 2$ ）保留了過多感知壓縮任務給擴散模型，導致訓練緩慢；而較大的因子（ $f = 32$ ）在第一階段遺失過多空間細節，限制了合成品質。

潛在擴散模型能否生成大於其訓練解析度的影像？

可以。對於具有空間條件的任務（例如語義合成、影像修復與超解析度），UNet 的卷積特性允許在更大的潛在網格上進行卷積取樣，從而能讓以 $25 6^{2}$ 訓練的模型渲染出連貫的 $51 2^{2}$ 或百萬像素尺寸影像。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）