Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

論文 · arXiv 1406.2661

敵対的生成ネットワーク (Generative Adversarial Networks)

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

公開日 2014-06-10stat.MLcs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 深層生成モデルは、扱いにくい確率計算、正規化されていない分配関数、およびマルコフ連鎖への依存という課題を抱えていた。
🔧 生成モデリングを生成器 $G$ と識別器 $D$ の2プレイヤー・ミニマックスゲームとして定式化し、誤差逆伝播法によるエンドツーエンドの学習を可能にした。
📈 $p_{g} = p_{data}$ となる大域的最適解に到達し、MNISTで $225 \pm 2$ 、TFDで $2057 \pm 26$ のガウスParzen窓対数尤度を達成。

概要

敵対的プロセスを通じて生成モデルを推定する新しいフレームワークを提案します。本手法では2つのモデルを同時に学習させます。データ分布を捉える生成モデルGと、サンプルがGではなく訓練データに由来する確率を推定する識別モデルDです。Gの学習手順は、Dが誤判定する確率を最大化することです。このフレームワークは2プレイヤーのミニマックスゲームに相当します。任意の関数空間GおよびDにおいて唯一の解が存在し、Gは訓練データ分布を復元し、Dは至る所で1/2となります。GとDが多層パーセプトロンによって定義される場合、システム全体を誤差逆伝播法（バックプロパゲーション）で訓練可能です。サンプルの訓練時または生成時のいずれにおいても、マルコフ連鎖や展開された近似推論ネットワークは一切必要ありません。実験により、生成サンプルの定性的・定量的評価を通じて本フレームワークの有効性を実証します。

英語の原文概要

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

論文解説

問題意識と動機

ディープラーニングは、誤差逆伝播法、Dropout、区分線形活性化関数などを活用することで、識別タスクにおいて劇的な成功を収めました。一方で、深層生成モデルは、計算困難な分配関数、困難な近似推論、そして訓練およびサンプル生成時におけるマルコフ連鎖モンテカルロ法（MCMC）の必要性といった深刻な計算ボトルネックにより、あまり影響力を発揮できていませんでした。MCMCアルゴリズムは、モード間の遷移が遅い（slow mixing）という問題にも頻繁に直面します。著者らは、訓練時と生成時の両方においてマルコフ連鎖や近似推論ネットワークを一切必要としない生成フレームワークの構築を目指しました。

主要なアイデア

敵対的フレームワーク (Adversarial Framework): 生成モデリングを、生成器 $G$ （偽造通貨の製造者に類似）と識別器 $D$ （警察に類似）という2つの多層パーセプトロン間のミニマックスゲームとして定式化。
順伝播によるサンプリング: 生成器 $G (z; θ_{g})$ は、標準的なフィードフォワード計算を用いて、ランダムノイズ $z \sim p_{z}$ を合成データサンプルへと直接変換する。
直接的な勾配伝播: 生成器は、個々の訓練例に直接適合するのではなく、識別器を通じて逆伝播される勾配のみによって更新される。
ダイバージェンスとの理論的結合: $G$ と $D$ が無限の表現力を持つノンパラメトリックな極限において、このミニマックス目的関数を最適化することは、真のデータ分布 $p_{data}$ とモデル分布 $p_{g}$ の間のJensen–Shannonダイバージェンスを最小化することと等価である。

手法（主要な数式）

本システムは、潜在事前分布 $p_{z} (z)$ をデータ空間へ写像する生成器 $G (z; θ_{g})$ と、入力 $x$ が $p_{g}$ ではなく $p_{data}$ に由来する確率を予測する識別器 $D (x; θ_{d})$ から構成されます。

ミニマックス値関数は以下の通りです： $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

任意の固定された生成器 $G$ に対する最適識別器は、解析的に次のように導出されます： $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

$D_{G}^{*}$ を $V (D, G)$ に代入すると、仮想的な訓練基準 $C (G) = max_{D} V (G, D)$ が得られ、次のように整理されます： $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ 大域的最小値は $p_{g} = p_{data}$ のときに一意に達成され、そのとき $C (G) = - lo g 4$ 、かつ至る所で $D^{*} (x) = \frac{1}{2}$ となります。

学習アルゴリズム:

交互最適化: サイズ $m$ のミニバッチに対し、勾配上昇法を用いて $D$ を $k$ ステップ（実験では $k = 1$ ）更新する： $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
勾配降下法を1ステップ適用して $G$ を更新する。訓練初期に $D$ が未熟な生成器のサンプルを容易に棄却すると $lo g (1 - D (G (z)))$ が飽和（勾配消失）するため、実務上は代わりに $lo g D (G (z))$ を最大化するように $G$ を更新する。

結果（主要な数値）

著者らは、MNIST、Toronto Face Database（TFD）、CIFAR-10上で敵対的ネットワークを評価しました。GANは明示的な尤度関数を持たないため、生成サンプルにガウスParzen窓（Gaussian Parzen window）を当てはめ、テストセットの対数尤度を算出することで定量評価を行いました：

MNIST: 敵対的ネットは平均対数尤度 $225 \pm 2$ を達成し、Deep Belief Networks ( $138 \pm 2$ )、Stacked Contractive Autoencoders ( $121 \pm 1.6$ )、Deep Generative Stochastic Networks ( $214 \pm 1.1$ ) を上回りました。
TFD: $2057 \pm 26$ を記録し、Stacked CAEs ( $2110 \pm 50$ ) に匹敵、DBNs ( $1909 \pm 66$ ) や Deep GSNs ( $1890 \pm 29$ ) を凌駕しました。
定性的生成: ランダムサンプルの目視確認により、単なる記憶（最近傍訓練サンプルとの比較で検証）ではない高品質な生成と、 $z$ の潜在空間における滑らかな補間が実証されました。

限界と未解決の課題

明示的な密度関数の欠如: モデルは $p_{g} (x)$ から暗黙的にサンプリングを行うため、厳密な確率密度の評価が困難であり、Parzen窓推定のようなヒューリスティックな評価手法が必要となります。
モード崩壊（Helvetica Scenario）: 識別器の更新が不十分なまま $G$ を過剰に訓練すると、 $G$ が異なる多数の $z$ を同一の $x$ 出力へと縮退させてしまい、 $p_{data}$ の多様性を捉えきれなくなる現象が生じます。
訓練の不安定性: 縮退や勾配消失を防ぐために、訓練を通じて $D$ と $G$ のバランスを慎重に保つ必要があります。

重要用語

Generative Adversarial Nets: 生成ネットワークと識別ネットワークが2プレイヤー・ミニマックスゲームで競合する、生成モデルの学習フレームワーク。
Generator ($G$): 潜在事前ノイズ $z$ をデータ空間へ写像し、真のデータ分布 $p_{data}$ を近似する微分可能なニューラルネットワーク。
Discriminator ($D$): 入力サンプルが生成器ではなく実データセットに由来する確率を推定するように学習される分類器ニューラルネットワーク。
Jensen–Shannon Divergence (JSD): 2つの確率分布間の対称的で有界な距離尺度。GANのミニマックス目的関数は、 $p_{data}$ と $p_{g}$ の間のJSDがゼロのときに最小化される。
Helvetica Scenario: 多様性の欠如により、生成器が多数の異なる潜在ノイズベクトル $z$ を全く同一のデータ点 $x$ に写像してしまう失敗モード（現在では一般にモード崩壊として知られる）。
Gaussian Parzen Window: 生成サンプルからテストセットの対数尤度を近似するために、論文の著者らが使用したノンパラメトリックなカーネル密度推定手法。
Non-saturating game: 訓練初期における勾配消失を防ぐため、 $lo g (1 - D (G (z)))$ を最小化する代わりに $lo g D (G (z))$ を最大化する、実践的な代替生成器目的関数。

よくある質問

なぜ生成器の元のミニマックス損失 $\log(1 - D(G(\bm{z})))$ を変更するのですか？

学習初期は生成サンプルの質が低いため、識別器は高い確信度で偽物と判定します。これにより $lo g (1 - D (G (z)))$ が飽和し、勾配が非常に小さくなります。代わりに $lo g D (G (z))$ を最大化することで、理論的な固定点を維持しながら、初期段階でより強力な勾配を得ることができます。

このゲームの理論的な最適値は何ですか？

$G$ が大域的最適解（ $p_{g} = p_{data}$ ）に達したとき、最適識別器は至る所で $D^{*} (x) = \frac{1}{2}$ を予測し、値関数は $- lo g 4$ となります。

RBMやGSNなどの当時の生成モデルと比較して、GANにはどのような利点がありましたか？

サンプリングにマルコフ連鎖を必要とせず、計算困難な分配関数の近似を回避し、学習中の明示的な推論ステップが不要で、ReLUやmaxoutなどの現代的な活性化関数を用いた誤差逆伝播法のみで訓練できる点です。

論文における識別器の更新ステップ数 $k$ のハイパーパラメータ設定はどうなっていましたか？

計算コストが最も低い選択肢として、生成器の更新1回につき識別器の更新を $k = 1$ 回行う設定が実験で採用されました。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）