Denoising Diffusion Probabilistic Models

논문 해설

문제 및 동기

확산 확률 모델은 Sohl-Dickstein et al. (2015)에 의해 비평형 열역학을 기반으로 처음 도입되었으나, 초기 연구들은 시각적 충실도 측면에서 GAN이나 자기회귀 아키텍처에 크게 뒤처져 있었습니다. 또한 일반적으로 느리고, 튜닝하기 어려우며, 복잡한 고해상도 자연 이미지 데이터셋에서는 검증되지 않은 것으로 인식되었습니다. 저자들은 변분 목적함수와 Langevin 동역학을 이용한 스코어 매칭 간의 수학적 연결 고리를 확립하여 확산 모델을 재검토하고자 했으며, 적절한 매개변수화와 목적함수를 통해 확산 모델이 최고 수준의 지각적 샘플 품질을 달성할 수 있음을 입증했습니다.

핵심 아이디어

• 노이즈 예측 매개변수화 (Noise-Prediction Parameterization): 사후 평균 ${\tilde{\mathbf{\mu }}}_t$를 직접 예측하는 대신, 역과정 신경망 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$가 순방향 단계에서 추가된 스케일링되지 않은 표준 가우시안 노이즈 벡터 $\mathbf{ϵ}$을 예측하도록 학습합니다.
• 디노이징 스코어 매칭과의 연결: 디노이징 확산은 여러 노이즈 스케일에 걸친 디노이징 스코어 매칭과 일치하며, 학습된 역방향 체인은 변분 추론을 통해 유도된 어닐링된 Langevin 동역학 샘플러 역할을 합니다.
• 단순화된 손실 함수 ($L_{\mathrm{simple}}$): 변분 하한에서 분산에 의존하는 엄격한 가중치를 제거하여 비가중 MSE 손실을 도출합니다. 이는 낮은 노이즈 레벨($t\approx 1$)의 가중치를 낮추어 모델이 지각적으로 중요한 거친 구조에 집중하도록 유도합니다.
• 점진적 손실 압축 관점: 분석 결과 모델의 무손실 코드 길이 중 절반 이상이 사람이 인지할 수 없는 고주파 픽셀 노이즈를 나타내는 것으로 드러났습니다. 이는 확산 모델이 미세한 질감을 채우기 전에 전역적 콘텐츠를 먼저 디코딩함으로써 속도-왜곡(rate-distortion)을 암묵적으로 최적화함을 의미합니다.

방법

순방향 과정은 고정된 분산 스케줄 ${\beta }_1,\dots ,{\beta }_T$에 따라 $T=1000$ 단계에 걸쳐 데이터 ${\mathbf{x}}_0$를 점진적으로 손상시킵니다: $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ ${\alpha }_t=1-{\beta }_t$ 및 ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$를 사용하면 중간 잠재 변수를 닫힌 형식(closed form)으로 직접 샘플링할 수 있습니다: $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

역과정 체인 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$의 평균은 다음과 같이 매개변수화됩니다: $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ 여기서 ${\sigma }_t^2$는 ${\beta }_t$ 또는 ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$ 중 하나로 고정됩니다.

신경망은 단순화된 대리 손실(surrogate loss)을 사용하여 최적화됩니다: $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ 여기서 $t\sim \text{Uniform}(\{1,\dots ,T\})$이고 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$입니다.

샘플링은 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$에서 시작하여 역방향으로 진행됩니다: $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ 여기서 $t>1$일 때 $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$이며, $t=1$일 때는 $\mathbf{z}=0$입니다.

결과

• CIFAR-10: $L_{\mathrm{simple}}$을 사용하여 무조건부 Inception Score (IS) $9.46\pm 0.11$, FID $3.17$을 달성하며 당시의 SNGAN(FID 21.7) 및 NCSN(FID 25.32)을 능가했습니다.
• 고해상도 합성: LSUN (Bedroom FID 4.90, Church FID 7.89, Cat FID 19.75) 및 CelebA-HQ에서 사실적인 $256\times 256$ 이미지를 성공적으로 생성했습니다.
• 우도 대 품질의 트레이드오프: 정확한 변분 하한 $L$로 학습했을 때 $L_{\mathrm{simple}}$($\le 3.75$ bits/dim test)보다 더 나은 음의 로그 우도($\le 3.70$ bits/dim test)를 기록했으나, FID 점수는 $L_{\mathrm{simple}}$이 압도적으로 우수했습니다(3.17 대 13.51).

한계점 및 열린 질문

• 샘플링 속도: 이미지 배치당 신경망을 순차적으로 $T=1000$번 평가해야 하므로, 추론 속도가 GAN이나 단일 패스 flow 모델에 비해 수주기 느립니다.
• 경쟁력 있는 로그 우도 한계: Sparse Transformers(CIFAR-10에서 $2.80$ bits/dim 달성)와 같은 순수 자기회귀 모델의 무손실 테스트 우도 수준에는 미치지 못합니다.
• 고정된 분산 스케줄링: 순방향 분산 스케줄 ${\beta }_t$가 학습되거나 적응적으로 조정되지 않고 선형으로 고정되어 있어, 비선형 스케줄이나 연속 동역학 학습을 통해 추가적인 성능 향상이 가능한지 여부는 미해결 과제로 남아 있습니다.