High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

논문 · arXiv 2112.10752

Latent Diffusion Models를 활용한 고해상도 이미지 합성

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

게시일 2021-12-20cs.CV arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 표준 픽셀 공간 확산 모델은 반복적인 노이즈 제거 단계에서 사람이 인지할 수 없는 고주파 세부 정보를 모델링하는 데 과도한 연산량과 메모리를 낭비합니다.
🔧 Cross-attention 컨디셔닝을 활용해 사전 학습된 오토인코더의 저차원 잠재 공간 내에서 확산 모델을 학습시킴으로써, 인지적 압축과 생성 모델링을 성공적으로 분리했습니다.
📈 CelebA-HQ에서 SOTA FID 5.11, 클래스 조건부 ImageNet 256x256에서 FID 3.60을 기록했으며, 픽셀 공간 확산 모델 대비 학습 및 추론 연산량을 수 배 절감했습니다.

초록

이미지 생성 과정을 노이즈 제거 오토인코더의 순차적 적용으로 분해함으로써, 확산 모델(Diffusion Models, DMs)은 이미지 데이터 및 그 이상의 분야에서 최고 수준의 합성 성능을 달성합니다. 또한, 이들의 수식화는 재학습 없이도 이미지 생성 과정을 제어할 수 있는 가이딩 메커니즘을 제공합니다. 그러나 이러한 모델들은 대개 픽셀 공간에서 직접 작동하므로 강력한 DMs를 최적화하려면 종종 수백 GPU 일이 소모되며, 순차적인 평가로 인해 추론 비용이 높습니다. 제한된 컴퓨팅 자원에서도 품질과 유연성을 유지하며 DM을 학습할 수 있도록, 본 연구에서는 강력한 사전 학습 오토인코더의 잠재 공간(latent space)에 확산 모델을 적용합니다. 이전 연구와 달리 이러한 표현형에 확산 모델을 학습시키면 복잡성 감소와 세부 정보 보존 사이의 거의 최적 지점에 처음으로 도달할 수 있어 시각적 충실도가 크게 향상됩니다. 모델 아키텍처에 cross-attention 레이어를 도입함으로써, 확산 모델을 텍스트나 바운딩 박스와 같은 일반적인 컨디셔닝 입력에 대응하는 강력하고 유연한 생성기로 탈바꿈시켰으며, 합성곱 방식으로 고해상도 생성이 가능해집니다. 본 연구의 잠재 확산 모델(Latent Diffusion Models, LDMs)은 픽셀 기반 DMs에 비해 계산 요구량을 대폭 줄이면서도 이미지 인페인팅에서 새로운 최고 성능을 기록하고 무조건부 이미지 생성, 시맨틱 장면 합성, 초해상도 등 다양한 작업에서 매우 경쟁력 있는 성능을 보여줍니다. 코드는 https://github.com/CompVis/latent-diffusion 에서 확인할 수 있습니다.

영어 원문 초록

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

논문 해설

문제 및 동기

확산 확률 모델(Diffusion Probabilistic Models)은 노이즈 제거 오토인코더의 연속적인 적용을 통해 전방 노이즈 과정을 역전시킴으로써 높은 충실도와 모드 커버리지를 가진 이미지를 생성합니다. 그러나 이를 고차원 RGB 픽셀 공간에서 직접 학습하고 평가하는 것은 많은 계산 비용을 필요로 합니다. 최적화에는 종종 수백 GPU 일(예: 150~1000 V100 일)이 소요되며, 다단계 순차 샘플링 방식 때문에 표준 평가를 수행하는 데만 며칠이 걸릴 수 있습니다. 우도 기반 생성 모델(likelihood-based generative modeling)은 시맨틱 구조를 학습하기 전에 사람이 지각할 수 없는 미세한 고주파 이미지 디테일에 과도한 용량을 쏟아붓기 때문에, 직접적인 픽셀 공간 평가는 불필요한 그래디언트 및 함수 평가를 초래합니다.

주요 아이디어

2단계 분해(Two-stage decomposition): 인지적 압축(지각할 수 없는 세부 사항 제거)과 시맨틱 생성 모델링(이미지 구조 및 구성 학습)을 분리합니다.
잠재 확산 모델(Latent Diffusion Models, LDMs): 지각적 손실 및 적대적 손실로 학습된 오토인코더의 잠재 공간 내부에서 노이즈 제거 확산 모델을 학습합니다.
적건한 공간 압축(Moderate spatial compression): 급격한 공간적 축소가 필요한 자기회귀 모델(예: $f = 16$ 또는 $f = 32$ )과 달리, LDM은 2D 합성곱 UNet을 통해 공간적 귀납 편향(spatial inductive bias)을 유지하므로 세부 정보를 보존하는 $f = 4$ 또는 $f = 8$ 과 같은 적절한 다운샘플링 계수를 사용할 수 있습니다.
범용 Cross-Attention 컨디셔닝: cross-attention을 통해 중간 네트워크 레이어에 매핑되는 도메인 특화 인코더를 사용하여 UNet을 멀티모달 입력(텍스트 설명, 바운딩 박스, 시맨틱 맵)에 일반화합니다.

방법론

지각적 이미지 압축(Perceptual Image Compression): 인코더 $E$ 는 이미지 $x \in R^{H \times W \times 3}$ 를 저차원 잠재 표현 $z = E (x) \in R^{h \times w \times c}$ 로 매핑하며, 여기서 다운샘플링 배수는 $f = H / h = W / w = 2^{m}$ 입니다. 디코더는 $\tilde{x} = D (z)$ 를 재구성합니다. 모델은 $N (0, I)$ 에 대한 약한 KL 발산 페널티(KL-reg.)를 적용하거나 디코더에 통합된 벡터 양자화(VQ-reg.)를 통해 정규화됩니다.
생성적 잠재 모델링(Generative Latent Modeling): 시간 조건부 UNet $ϵ_{θ} (z_{t}, t)$ 는 재가중치 적용 노이즈 제거 목적 함수를 사용하여 잠재 공간 상에서 학습됩니다: $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
Cross-Attention 컨디셔닝(Cross-Attention Conditioning): 조건부 입력 $y$ (예: 텍스트, 클래스, 레이아웃)에 대해 도메인 인코더 $τ_{θ} (y) \in R^{M \times d_{τ}}$ 를 도입합니다. UNet의 중간 피처 $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ 는 cross-attention을 통해 컨디셔닝과 상호작용합니다: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ 여기서 $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ , $K = W_{K}^{(i)} τ_{θ} (y)$ , 그리고 $V = W_{V}^{(i)} τ_{θ} (y)$ 입니다. 조건부 목적 함수는 다음과 같습니다: $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

결과

인지 압축 트레이드오프: 다운샘플링 계수 $f = 4$ 및 $f = 8$ 이 재구성 정확도, 합성 품질, 처리량 간의 최적 균형을 이룹니다. ImageNet에서 동일한 계산 예산으로 200만 스텝을 학습한 결과, 픽셀 기반 LDM-1과 LDM-8 간에 38포인트의 FID 격차가 발생했습니다.
무조건부 생성: CelebA-HQ ( $256 \times 256$ )에서 $5.11$ , FFHQ에서 $4.98$ , LSUN-Churches에서 $4.02$ , LSUN-Bedrooms에서 $2.95$ 의 SOTA FID를 달성했습니다.
클래스 조건부 ImageNet: Classifier-free guidance를 적용한 LDM-4는 FID $3.60$ , Inception Score $247.67$ 을 기록하여, 더 적은 파라미터(400M 대 608M)와 현저히 적은 학습 연산량(271 대 962 V100 일)으로 ADM ( $4.59$ )을 능가했습니다.
Text-to-Image: 1.45B 파라미터 모델(LDM-KL-8-G)은 250 DDIM 스텝으로 MS-COCO에서 FID $12.63$ 을 달성했습니다.
초해상도 및 인페인팅: LDM-4는 Places $512 \times 512$ 에서 $1.50$ 의 새로운 SOTA 인페인팅 FID를 기록했으며(40~50% 마스킹된 어려운 이미지에서는 $9.39$ ), 픽셀 공간 확산 모델보다 $2.7$ 배 이상 높은 처리 속도를 보였습니다.

한계 및 향후 과제

샘플링 지연 시간: 픽셀 기반 확산 모델보다는 현저히 빠르지만, 다단계 순차 샘플링 방식은 여전히 1회 패스(single-pass) 방식의 GAN 생성자보다 느립니다.
재구성 병목 현상: 낮은 다운샘플링( $f = 4$ )에서도 압축 과정 중 미세한 고주파 픽셀 디테일이 손실될 수 있어 초고정밀 픽셀 작업에는 다소 불리할 수 있습니다.
사회적 영향 및 안전성: 연산 진입 장벽이 낮아짐으로써 창작 도구의 대중화가 이루어지지만, 딥페이크 생성이나 오용의 위험도 커지며 정제되지 않은 웹 규모 학습 데이터셋의 편향을 답습할 가능성이 있습니다.

핵심 용어

Latent Diffusion Models (LDMs): 사전 학습된 오토인코더가 제공하는 저차원의 지각적 등가 잠재 공간 내에서 학습되는 확산 모델.
Perceptual Image Compression: 지각적 및 패치 기반 적대적 손실을 통해 학습되어 이미지에서 사람이 지각할 수 없는 고주파 노이즈를 제거하는 1단계 오토인코딩 모델.
Cross-Attention: UNet 중간 레이어에 통합된 어텐션 메커니즘으로, 쿼리(Query)는 이미지 표현에서 가져오고 키(Key)/값(Value)은 조건부 표현에서 가져옵니다.
Downsampling Factor ($f$): 원본 픽셀 차원과 오토인코더 잠재 그리드 차원 사이의 공간 스케일링 비율( $f = H / h = W / w$ ).
KL-reg. / VQ-reg.: 실험에 사용된 잠재 공간 정규화 방식으로, 표준 정규분포를 향한 완만한 쿨백-라이블러 페널티 또는 디코더에 통합된 벡터 양자화 코드북 레이어를 의미합니다.
Classifier-Free Guidance: 별도의 분류기 네트워크 없이 생성 품질을 제어하기 위해 조건부 및 무조건부 모델 예측을 결합하여 평가하는 샘플링 기법.
Convolutional Sampling: 시맨틱 합성이나 초해상도 등의 작업에서 학습 시보다 더 큰 공간 그리드 상에서 합성곱 UNet 모델을 평가하여 고해상도 또는 메가픽셀 이미지를 생성하는 기법.

자주 묻는 질문

왜 원본 픽셀 공간 대신 잠재 공간에서 확산 모델을 학습하나요?

픽셀 공간 확산은 사람이 지각할 수 없는 고주파 이미지 세부 사항에 대해 반복적으로 그래디언트를 계산하고 네트워크를 평가하느라 상당한 연산량을 낭비합니다. 오토인코더의 잠재 공간으로 전환함으로써 생성 모델은 훨씬 작은 피처 맵을 통해 순수하게 시맨틱한 개념에만 집중할 수 있어 학습과 추론 속도가 모두 빨라집니다.

LDM에서 텍스트와 같은 비이미지 데이터에 대한 컨디셔닝은 어떻게 작동하나요?

비이미지 조건은 토큰화된 후 도메인 특화 인코더(예: 텍스트의 경우 BERT 토큰화 기반 Transformer)를 통해 중간 표현으로 변환됩니다. 이 표현은 cross-attention 레이어를 통해 UNet 백본에 주입됩니다.

어떤 다운샘플링 계수 $f$가 가장 좋은 성능을 제공하나요?

다운샘플링 계수 $f = 4$ 와 $f = 8$ 이 가장 우수한 균형을 보여줍니다. 계수가 작으면( $f = 1, 2$ ) 확산 모델이 처리해야 할 인지 압축량이 너무 많아 학습이 느려지고, 계수가 너무 크면( $f = 32$ ) 첫 번째 단계에서 공간적 디테일이 지나치게 손실되어 최종 합성 품질에 한계가 생깁니다.

Latent Diffusion Models는 학습 해상도보다 더 큰 이미지를 생성할 수 있나요?

네, 가능합니다. 공간 조건부 작업(예: 시맨틱 합성, 인페인팅, 초해상도)의 경우 UNet의 합성곱 특성 덕분에 더 큰 잠재 그리드에서 합성곱 샘플링(convolutional sampling)을 수행할 수 있어, $25 6^{2}$ 에서 학습된 모델로도 일관성 있는 $51 2^{2}$ 또는 메가픽셀 크기의 이미지를 렌더링할 수 있습니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)