High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

Статьи · arXiv 2112.10752

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

Опубликовано 2021-12-20cs.CV arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Стандартные диффузионные модели в пиксельном пространстве тратят колоссальные вычислительные ресурсы и память на моделирование незаметных высокочастотных деталей на каждом шаге денойзинга.
🔧 Перцептивное сжатие отделено от генеративного моделирования за счет обучения диффузионных моделей внутри низкоразмерного латентного пространства предобученных автоэнкодеров с cross-attention кондиционированием.
📈 Достигнут лучший результат FID 5.11 на CelebA-HQ, FID 3.60 на ImageNet 256x256 с условием по классу, а также многократно снижены вычислительные затраты на обучение и инференс по сравнению с пиксельными диффузионными моделями.

Аннотация

Разбивая процесс формирования изображения на последовательное применение шумоподавляющих автоэнкодеров, диффузионные модели (DMs) достигают передовых результатов в синтезе изображений и других типов данных. Кроме того, их формулировка позволяет использовать механизм управления процессом генерации изображений без переобучения. Однако, поскольку эти модели обычно работают непосредственно в пространстве пикселей, оптимизация мощных DMs часто требует сотен GPU-дней, а инференс обходится дорого из-за последовательных вычислений. Чтобы сделать обучение DM возможным при ограниченных вычислительных ресурсах без потери их качества и гибкости, мы применяем их в латентном пространстве мощных предобученных автоэнкодеров. В отличие от предыдущих работ, обучение диффузионных моделей на таком представлении позволяет впервые достичь почти оптимального баланса между снижением сложности и сохранением деталей, значительно повышая визуальную точность. Интегрируя слои cross-attention в архитектуру модели, мы превращаем диффузионные модели в мощные и гибкие генераторы для произвольных управляющих входных сигналов, таких как текст или bounding boxes, а синтез изображений высокого разрешения становится возможным в сверточном режиме. Наши латентные диффузионные модели (LDMs) устанавливают новый SOTA для inpainting изображений и демонстрируют высококонкурентные результаты в различных задачах, включая безусловную генерацию изображений, семантический синтез сцен и сверхразрешение, при этом существенно снижая вычислительные требования по сравнению с пиксельными DMs. Код доступен по адресу https://github.com/CompVis/latent-diffusion .

Оригинальная аннотация (англ.)

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

Разбор статьи

Проблема и мотивация

Диффузионные вероятностные модели генерируют высокоточные, покрывающие все моды распределения изображения, обращая прямой процесс зашумления с помощью последовательности шумоподавляющих автоэнкодеров. Однако их обучение и оценка непосредственно в многомерном пиксельном пространстве RGB требуют огромных вычислительных мощностей. Оптимизация часто занимает сотни GPU-дней (например, от 150 до 1000 дней на V100), а многошаговая последовательная выборка может требовать дни для стандартных запусков валидации. Поскольку генеративное моделирование на основе правдоподобия тратит избыточные ресурсы на высокочастотные, незаметные глазу детали изображения до того, как изучит семантические структуры, прямые вычисления в пространстве пикселей приводят к неэффективным расчетам градиентов и функций.

Ключевые идеи

Двухэтапная декомпозиция: Разделение перцептивного сжатия (устранение незаметных деталей) и семантического генеративного моделирования (изучение структуры и композиции изображения).
Latent Diffusion Models (LDMs): Обучение диффузионных моделей денойзинга внутри латентного пространства автоэнкодера, обученного с использованием перцептивных и состязательных лоссов.
Умеренное пространственное сжатие: В отличие от авторегрессионных моделей, требующих сильного пространственного сжатия (например, $f = 16$ или $f = 32$ ), LDMs сохраняют пространственное индуктивное смещение с помощью 2D-сверточного UNet, что позволяет использовать умеренные коэффициенты субдискретизации, такие как $f = 4$ или $f = 8$ , сохраняющие мелкие детали.
Универсальное cross-attention кондиционирование: Адаптация сетей UNet к мультимодальным входным данным (текстовые описания, ограничивающие рамки, семантические карты) с помощью специализированных энкодеров, проецируемых в промежуточные слои сети через механизм cross-attention.

Метод

Перцептивное сжатие изображений: Энкодер $E$ отображает изображение $x \in R^{H \times W \times 3}$ в более низкоразмерное латентное представление $z = E (x) \in R^{h \times w \times c}$ , где фактор субдискретизации $f = H / h = W / w = 2^{m}$ . Декодер реконструирует $\tilde{x} = D (z)$ . Модель регуляризируется либо слабым штрафом KL-дивергенции по направлению к $N (0, I)$ (KL-reg.), либо векторным квантованием (VQ-reg.), интегрированным в декодер.
Генеративное латентное моделирование: Временнóй-обусловленный UNet $ϵ_{θ} (z_{t}, t)$ обучается на латентах с использованием взвешенной функции потерь денойзинга: $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
Cross-Attention кондиционирование: Для управляющего входа $y$ (например, текст, классы, разметка) вводится предметный энкодер $τ_{θ} (y) \in R^{M \times d_{τ}}$ . Промежуточные признаки UNet $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ взаимодействуют с контекстом через cross-attention: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ где $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ , $K = W_{K}^{(i)} τ_{θ} (y)$ и $V = W_{V}^{(i)} τ_{θ} (y)$ . Целевая функция с условием принимает вид: $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

Результаты

Баланс перцептивного сжатия: Коэффициенты субдискретизации $f = 4$ и $f = 8$ обеспечивают наилучший баланс между точностью реконструкции, качеством синтеза и пропускной способностью. На ImageNet разрыв в FID между пиксельным LDM-1 и LDM-8 составляет 38 пунктов после 2 млн шагов обучения при одинаковом вычислительном бюджете.
Безусловная генерация: Достигнут передовой FID $5.11$ на CelebA-HQ ( $256 \times 256$ ), $4.98$ на FFHQ, $4.02$ на LSUN-Churches и $2.95$ на LSUN-Bedrooms.
ImageNet с условием по классу: LDM-4 с classifier-free guidance показал FID $3.60$ и Inception Score $247.67$ , превзойдя ADM ( $4.59$ ) при меньшем числе параметров (400M против 608M) и существенно меньших затратах на обучение (271 против 962 дней V100).
Text-to-image: Модель с 1.45B параметров (LDM-KL-8-G) достигла FID $12.63$ на MS-COCO при 250 шагах DDIM.
Сверхразрешение и inpainting: LDM-4 установил новый рекордный FID для inpainting, равный $1.50$ на Places $512 \times 512$ (и $9.39$ на сложных изображениях с маскированием 40–50%), обеспечивая более чем в $2.7 \times$ более высокую пропускную способность, чем пиксельная диффузия.

Ограничения и открытые вопросы

Задержка сэмплинга: Несмотря на значительное ускорение по сравнению с пиксельными моделями, последовательная многошаговая генерация все еще медленнее однопроходных генераторов GAN.
Узкое горлышко реконструкции: Даже при низком факторе сжатия ( $f = 4$ ) компрессия может терять мелкие высокочастотные детали пикселей, что делает метод субоптимальным для задач, критичных к сверхточным пиксельным деталям.
Влияние на общество и безопасность: Снижение вычислительного порога демократизирует творческие инструменты, но также упрощает создание дипфейков и злоупотребления, потенциально транслируя искажения из немодерируемых массивов обучающих данных веб-масштаба.

Ключевые термины

Latent Diffusion Models (LDMs): Диффузионные модели, обучаемые внутри низкоразмерного, перцептивно эквивалентного латентного пространства, формируемого обученным автоэнкодером.
Perceptual Image Compression: Модель автоэнкодера первого этапа, обученная с использованием перцептивных и патч-ориентированных состязательных лоссов, которая удаляет незаметный высокочастотный шум из изображений.
Cross-Attention: Механизм внимания, встроенный в промежуточные слои UNet, где запросы (queries) поступают из представлений изображений, а ключи (keys) и значения (values) — из представлений контекста кондиционирования.
Downsampling Factor ($f$): Коэффициент пространственного масштабирования $f = H / h = W / w$ между исходными размерами пикселей и сеткой латентного пространства автоэнкодера.
KL-reg. / VQ-reg.: Исследованные схемы регуляризации латентного пространства: мягкий штраф расстояния Кульбака — Лейблера в сторону стандартного нормального распределения или слой словаря векторного квантования, включенный в декодер.
Classifier-Free Guidance: Метод сэмплинга, который объединяет предсказания модели с условием и без него для управления качеством генерации без необходимости в отдельной сети-классификаторе.
Convolutional Sampling: Применение сверточной модели UNet на пространственных сетках большего размера, чем во время обучения, для генерации изображений высокого или мегапиксельного разрешения в таких задачах, как семантический синтез или супер-разрешение.

Вопросы

Зачем обучать диффузионные модели в латентном пространстве, а не в обычном пространстве пикселей?

Диффузия в пиксельном пространстве тратит значительные вычислительные ресурсы на постоянный расчет градиентов и прогоны сети для незаметных глазу высокочастотных деталей изображения. Перенос в латентное пространство автоэнкодера позволяет генеративной модели сосредоточиться исключительно на семантических концепциях при гораздо меньших картах признаков, ускоряя как обучение, так и инференс.

Как устроено кондиционирование на неизобразительные данные, такие как текст, в LDMs?

Неизобразительные условия токенизируются и преобразуются предметным энкодером (например, трансформером с BERT-токенизацией для текста) в промежуточное представление. Это представление затем подается в архитектуру UNet через слои cross-attention.

Какой фактор субдискретизации $f$ обеспечивает наилучшую производительность?

Коэффициенты субдискретизации $f = 4$ и $f = 8$ обеспечивают оптимальный баланс. Меньшие значения ( $f = 1, 2$ ) сохраняют слишком много избыточных данных для диффузионной модели и замедляют обучение, тогда как большие ( $f = 32$ ) приводят к потере критически важных пространственных деталей на первом этапе, ограничивая итоговое качество генерации.

Могут ли Latent Diffusion Models генерировать изображения с разрешением, превышающим размер обучающей выборки?

Да. Для задач с пространственным кондиционированием (семантический синтез, inpainting и супер-разрешение) сверточная природа UNet позволяет применять сверточный сэмплинг на более крупных латентных сетках, генерируя согласованные изображения с разрешением $51 2^{2}$ или мегапиксельного масштаба на моделях, обученных на $25 6^{2}$ .

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ