Latent Diffusion Modelsによる高解像度画像合成

論文解説

課題と動機

拡散確率モデルは、デノイジングオートエンコーダのシーケンスによって順方向のノイズ付加プロセスを逆転させることで、高忠実度かつ多様なモードを網羅する画像を生成します。しかし、高次元のRGBピクセル空間で直接学習および評価を行うには膨大な計算資源が必要です。最適化には数百GPU日（例：150〜1000 V100日）かかることが多く、標準的な評価実行においても多段階の逐次サンプリングに数日を要することがあります。尤度ベースの生成モデルは、意味的な構造を学習する前に知覚できない高周波な画像細部に過剰な容量を費やすため、ピクセル空間での直接評価は勾配計算と関数評価の無駄につながります。

主要なアイデア

• 2段階の分離: 知覚的圧縮（知覚できない細部の除去）と、意味的な生成的モデリング（画像構造と構図の学習）を切り離す。
• Latent Diffusion Models (LDMs): 知覚損失および敵対的損失で学習されたオートエンコーダの潜在空間内で、デノイジング拡散モデルを学習する。
• 適度な空間圧縮: 大幅な空間削減（例：$f=16$ や $f=32$）を必要とする自己回帰モデルとは異なり、LDMは2D畳み込みUNetによる空間的帰納バイアスを維持するため、$f=4$ や $f=8$ といった微細なディテールを保持する適度なダウンサンプリング係数を利用可能。
• 汎用的なクロスアテンション条件付け: クロスアテンションを介して中間ネットワーク層にマッピングされるドメイン固有のエンコーダを使用し、UNetをマルチモーダル入力（テキスト記述、バウンディングボックス、セマンティックマップ）へ一般化する。

手法

1. 知覚的画像圧縮 (Perceptual Image Compression): エンコーダ $\mathcal{E}$ は画像 $x\in {\mathbb{R}}^{H\times W\times 3}$ を低次元の潜在表現 $z=\mathcal{E}(x)\in {\mathbb{R}}^{h\times w\times c}$ へマッピングします。ここでダウンサンプリング係数は $f=H/h=W/w=2^m$ です。デコーダは再構成画像 $\tilde{x}=\mathcal{D}(z)$ を出力します。モデルは、標準正規分布 $\mathcal{N}(0,\mathbb{I})$ への弱いKLダイバージェンスペナルティ（KL-reg.）、またはデコーダに組み込まれたベクトル量子化（VQ-reg.）のいずれかを用いて正則化されます。

2. 潜在空間での生成的モデリング (Generative Latent Modeling): 時間条件付きUNet ${ϵ}_{\theta }(z_t,t)$ は、再重み付けされたデノイジング目的関数を用いて潜在変数上で学習されます: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t){\Vert }_2^2\right]$$

3. クロスアテンションによる条件付け (Cross-Attention Conditioning): 条件付け入力 $y$（テキスト、クラス、レイアウトなど）に対して、ドメインエンコーダ ${\tau }_{\theta }(y)\in {\mathbb{R}}^{M\times d_{\tau }}$ を導入します。中間UNet特徴量 ${\phi }_i(z_t)\in {\mathbb{R}}^{N\times d_{ϵ}^i}$ は、クロスアテンションを介して条件情報と相互作用します: $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V$$ ここで $Q=W_Q^{(i)}{\phi }_i(z_t)$、$K=W_K^{(i)}{\tau }_{\theta }(y)$、$V=W_V^{(i)}{\tau }_{\theta }(y)$ です。条件付き目的関数は以下の通りです: $$L_{LDM}:={\mathbb{E}}_{\mathcal{E}(x),y,ϵ\sim \mathcal{N}(0,1),t}\left[\Vert ϵ-{ϵ}_{\theta }(z_t,t,{\tau }_{\theta }(y)){\Vert }_2^2\right]$$

結果

• 知覚的圧縮のトレードオフ: ダウンサンプリング係数 $f=4$ および $f=8$ が、再構成精度、合成品質、スループットの間で最良のバランスを達成。ImageNetにおいて同一の計算予算の下で2Mステップ学習後、ピクセルベースのLDM-1とLDM-8の間には38ポイントのFID差が生じました。
• 無条件生成: CelebA-HQ ($256\times 256$) でSOTAとなるFID $5.11$、FFHQで $4.98$、LSUN-Churchesで $4.02$、LSUN-Bedroomsで $2.95$ を達成。
• クラス条件付きImageNet: classifier-free guidanceを用いたLDM-4はFID $3.60$、Inception Score $247.67$ に達し、より少ないパラメータ数（400M対608M）かつ大幅に少ない学習計算量（271対962 V100日）でADM（$4.59$）を上回りました。
• テキストからの画像生成 (Text-to-image): 1.45Bパラメータのモデル（LDM-KL-8-G）は、250回のDDIMステップでMS-COCO上でFID $12.63$ を達成。
• 超解像およびインペインティング: LDM-4はPlaces $512\times 512$ においてインペインティングの新たなSOTAとなるFID $1.50$（40〜50%マスクの高難度画像では $9.39$）を記録しつつ、ピクセル空間の拡散モデルの $2.7$ 倍以上のスループットで動作しました。

限界と未解決の課題

• サンプリング遅延: ピクセルベースの拡散モデルよりも大幅に高速であるものの、多段階の逐次サンプリングは1パスで生成するGAN生成器よりも依然として低速です。
• 再構成のボトルネック: 低いダウンサンプリング率（$f=4$）であっても、圧縮によって微細な高周波ピクセル情報が失われる可能性があり、極めて高精度なピクセル単位の再現が求められるタスクにはわずかに最適でない場合があります。
• 社会的影響と安全性: 計算コストの障壁が下がることでクリエイティブなツールの民主化が進む一方、ディープフェイクの生成や悪用が容易になるリスクがあり、精査されていないウェブ規模の学習データセットからバイアスを継承する懸念もあります。