High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

论文 · arXiv 2112.10752

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

发表于 2021-12-20cs.CV arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 标准像素空间扩散模型在迭代去噪步骤中，将大量算力和内存浪费在建模难以察觉的高频细节上。
🔧 通过使用交叉注意力条件机制，在预训练自编码器的低维潜在空间内训练扩散模型，将感知压缩与生成建模解耦。
📈 在 CelebA-HQ 上实现了 5.11 的最先进 FID，在类别条件 ImageNet 256x256 上达到了 3.60 的 FID，并且与像素空间扩散模型相比，训练和推理计算量成倍减少。

摘要

通过将图像生成过程分解为去噪自编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成效果。此外，其公式设计允许在无需重新训练的情况下引入引导机制来控制图像生成过程。然而，由于这些模型通常直接在像素空间中运行，强大的 DMs 优化往往需要消耗数百个 GPU 天，且由于序列化评估，推理成本非常高昂。为了在计算资源有限的情况下实现 DM 训练，同时保持其质量和灵活性，我们将它们应用于强大的预训练自编码器的潜在空间中。与以往的工作相比，在这样的表征上训练扩散模型首次在降低复杂度和保留细节之间达到了近乎最优的平衡点，极大提升了视觉保真度。通过在模型架构中引入交叉注意力层，我们将扩散模型转变为强大且灵活的生成器，可处理文本或边界框等通用条件输入，并使得以卷积方式进行高分辨率合成成为可能。我们的潜在扩散模型（LDMs）在图像修复方面达到了新的最先进水平，并在无条件图像生成、语义场景合成和超分辨率等各种任务上表现出极具竞争力的性能，同时与基于像素的 DMs 相比显著降低了计算需求。代码可在 https://github.com/CompVis/latent-diffusion 获取。

英文原文摘要

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

论文解读

问题与动机

扩散概率模型通过使用一系列去噪自编码器反转前向加噪过程，生成具有高保真度和模式覆盖率的图像。然而，直接在高维 RGB 像素空间中对其进行训练和评估对计算资源要求极高。优化过程通常需要数百个 GPU 天（例如 150 到 1000 个 V100 天），且标准评估运行的多步串行采样可能需要数天时间。由于基于似然的生成模型在学习语义结构之前，会在高频不可感知的图像细节上花费过多的容量，直接在像素空间评估会导致大量梯度计算和函数评估的浪费。

核心思想

两阶段解耦：将感知压缩（消除不可察觉的细节）与语义生成建模（学习图像结构和构图）分开。
潜在扩散模型（LDMs）：在利用感知损失和对抗损失训练的自编码器的潜在空间内训练去噪扩散模型。
适度空间压缩：与需要大幅降低空间维度的自回归模型（例如 $f = 16$ 或 $f = 32$ ）不同，LDM 通过 2D 卷积 UNet 保持空间归纳偏置，允许使用适度的下采样因子（如 $f = 4$ 或 $f = 8$ ）来保留精细细节。
通用交叉注意力条件机制：使用特定领域的编码器，通过交叉注意力将条件映射到网络中间层，从而将 UNet 泛化到多模态输入（文本描述、边界框、语义图）。

方法

感知图像压缩（Perceptual Image Compression）：编码器 $E$ 将图像 $x \in R^{H \times W \times 3}$ 映射到低维潜在表征 $z = E (x) \in R^{h \times w \times c}$ ，其中下采样因子 $f = H / h = W / w = 2^{m}$ 。解码器重建出 $\tilde{x} = D (z)$ 。模型使用朝向 $N (0, I)$ 的弱 KL 散度惩罚（KL-reg.）或吸收到解码器中的矢量量化（VQ-reg.）进行正则化。
生成性潜在建模（Generative Latent Modeling）：在潜在变量上使用重加权去噪目标训练时间条件 UNet $ϵ_{θ} (z_{t}, t)$ ： $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
交叉注意力条件机制（Cross-Attention Conditioning）：针对条件输入 $y$ （例如文本、类别、布局），引入领域编码器 $τ_{θ} (y) \in R^{M \times d_{τ}}$ 。UNet 中间特征 $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ 通过交叉注意力与条件交互： $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ 其中 $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ ， $K = W_{K}^{(i)} τ_{θ} (y)$ ，且 $V = W_{V}^{(i)} τ_{θ} (y)$ 。条件目标函数为： $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

结果

感知压缩权衡：下采样因子 $f = 4$ 和 $f = 8$ 在重建精度、合成质量和吞吐量之间达到了最佳平衡。在 ImageNet 上，在相同的计算预算下训练 200 万步后，基于像素的 LDM-1 与 LDM-8 之间存在 38 点的 FID 差距。
无条件生成：在 CelebA-HQ ( $256 \times 256$ ) 上达到了 $5.11$ 的最先进 FID，在 FFHQ 上达到 $4.98$ ，在 LSUN-Churches 上达到 $4.02$ ，在 LSUN-Bedrooms 上达到 $2.95$ 。
类别条件 ImageNet：带有无分类器引导的 LDM-4 达到了 $3.60$ 的 FID 和 $247.67$ 的 Inception Score，优于 ADM ( $4.59$ )，同时需要更少的参数（400M 对比 608M）和显著更少的训练计算量（271 对比 962 V100 天）。
文本到图像：一个 1.45B 参数的模型（LDM-KL-8-G）在 MS-COCO 上经过 250 步 DDIM 实现了 $12.63$ 的 FID。
超分辨率与图像修复：LDM-4 在 Places $512 \times 512$ 上创下了 $1.50$ 的最先进修复 FID（在困难的 40–50% 掩码图像上为 $9.39$ ），同时运行吞吐量比像素空间扩散高出 $2.7 \times$ 以上。

局限性与开放问题

采样延迟：虽然明显快于基于像素的扩散模型，但串行多步采样仍然比单遍前向的 GAN 生成器慢。
重建瓶颈：即使采用较低的下采样率（ $f = 4$ ），压缩仍可能丢失细粒度的高频像素细节，这使得它对于极度依赖精细像素的任务来说略逊一筹。
社会影响与安全性：降低算力门槛推动了创作工具的普及，但也降低了制作深度伪造（deepfakes）和滥用的门槛，同时可能会继承未经清洗的网络规模训练数据集中的偏见。

关键术语

Latent Diffusion Models (LDMs): 在经过训练的自编码器所提供的低维且感知等价的潜在空间内训练的扩散模型。
Perceptual Image Compression: 一种使用感知和基于 Patch 的对抗损失训练的第一阶段自编码模型，用于去除图像中不可察觉的高频噪声。
Cross-Attention: 一种结合到 UNet 中间层的注意力机制，其中查询（queries）来自图像表征，键（keys）/值（values）来自条件表征。
Downsampling Factor ($f$): 原始像素尺寸与自编码器潜在网格尺寸之间的空间缩放比率 $f = H / h = W / w$ 。
KL-reg. / VQ-reg.: 测试的潜在空间正则化方案：朝向标准正态分布的轻度 Kullback-Leibler 散度惩罚，或者吸收到解码器中的矢量量化码本层。
Classifier-Free Guidance: 一种联合评估条件和无条件模型预测的采样技术，无需单独的分类器网络即可引导生成质量。
Convolutional Sampling: 在比训练期间所见更大的空间网格上评估卷积 UNet 模型，以便在语义合成或超分辨率等任务中生成高分辨率或百万像素级图像。

常见问题

为什么要将扩散模型训练在潜在空间而不是原始像素空间？

像素空间扩散在不可察觉的高频图像细节上反复计算梯度和评估网络，浪费了大量的计算资源。通过转移到自编码器的潜在空间，生成模型可以在小得多的特征图上纯粹专注于语义概念，从而极大地加速了训练和推理。

LDM 如何处理像文本这样的非图像数据条件？

非图像条件首先被分词并通过特定领域的编码器（例如用于文本的 BERT 分词 Transformer）处理为中间表征。然后，该表征通过交叉注意力层注入到 UNet 主干网络中。

哪个下采样因子 $f$ 能够提供最佳性能？

下采样因子 $f = 4$ 和 $f = 8$ 达到了最佳平衡。较小的因子（ $f = 1, 2$ ）为扩散模型保留了过多的感知压缩负担且训练缓慢，而较大的因子（ $f = 32$ ）在第一阶段丢失了过多的空间细节，限制了合成质量。

潜在扩散模型可以生成比训练分辨率更大的图像吗？

可以。对于具有空间条件约束的任务（如语义合成、图像修复和超分辨率），UNet 的卷积特性支持在更大的潜在网格上进行卷积采样，从而通过在 $25 6^{2}$ 分辨率下训练的模型渲染出协调连贯的 $51 2^{2}$ 或百万像素级图像。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）