Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

論文 · arXiv 1406.2661

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

發表於 2014-06-10stat.MLcs.LG arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 深度生成模型長期受限於難以計算的機率運算、未正規化的配分函數以及對馬可夫鏈的依賴。
🔧 將生成建模形式化為生成器 $G$ 與鑑別器 $D$ 之間的雙人極小化極大賽局，可完全透過反向傳播訓練。
📈 在 $p_{g} = p_{data}$ 處達到全域最佳解，並在 MNIST 上取得 $225 \pm 2$ 、在 TFD 上取得 $2057 \pm 26$ 的高斯 Parzen 窗對數似然值。

摘要

我們提出了一種透過對抗過程來估計生成模型的新框架。在此框架中，我們同時訓練兩個模型：一個捕捉資料分佈的生成模型 G，以及一個估計樣本來自訓練資料而非 G 之機率的鑑別模型 D。G 的訓練程序是最大化 D 犯錯的機率。此框架對應於一個雙人極小化極大（minimax）賽局。在任意函數 G 與 D 的空間中，存在唯一解，此時 G 能完全復原訓練資料分佈，且 D 在各處皆等於 1/2。當 G 和 D 由多層感知機定義時，整個系統可完全透過反向傳播進行訓練。在訓練或生成樣本的過程中，完全不需要任何馬可夫鏈或展開的近似推論網路。實驗透過對生成樣本的質性與量化評估，展示了該框架的潛力。

英文原文摘要

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

論文解讀

問題與動機

深度學習藉由反向傳播、dropout 與分段線性單元（piecewise linear units），在鑑別任務上取得了巨大的成功。相較之下，深度生成模型因為嚴重的計算瓶頸而影響力有限：難以計算的配分函數（partition functions）、棘手的近似推論，以及在訓練與樣本生成過程中對馬可夫鏈蒙地卡羅（MCMC）方法的依賴。MCMC 演算法經常面臨在不同模態（modes）之間混合緩慢（slow mixing）的困境。本研究作者致力於設計一種在訓練與生成過程中皆完全無需馬可夫鏈或近似推論網路的生成框架。

核心概念

對抗框架（Adversarial Framework）：將生成建模視為兩個多層感知機之間的極小化極大賽局：生成器 $G$ （比擬為偽鈔製造者）與鑑別器 $D$ （比擬為警察）。
透過前向傳播取樣：生成器 $G (z; θ_{g})$ 利用標準前向計算，直接將隨機雜訊 $z \sim p_{z}$ 轉換為合成資料樣本。
直接梯度流：生成器的更新完全仰賴從鑑別器反向傳遞的梯度，而非直接去配對個別的訓練樣本。
與散度（Divergence）的理論連結：在 $G$ 與 $D$ 具有無限容量的非參數極限下，最佳化此極小化極大目標等同於最小化真實資料分佈 $p_{data}$ 與模型分佈 $p_{g}$ 之間的 Jensen–Shannon 散度。

方法（與關鍵公式）

該系統由生成器 $G (z; θ_{g})$ （將潛在先驗 $p_{z} (z)$ 映射至資料空間）與鑑別器 $D (x; θ_{d})$ （預測 $x$ 來自 $p_{data}$ 而非 $p_{g}$ 的機率）所組成。

極小化極大價值函數為： $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

對於任意固定的生成器 $G$ ，最佳鑑別器的解析解為： $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

將 $D_{G}^{*}$ 代入 $V (D, G)$ 可得到虛擬訓練準則 $C (G) = max_{D} V (G, D)$ ，簡化為： $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ 當且僅當 $p_{g} = p_{data}$ 時取得全域極小值，此時 $C (G) = - lo g 4$ ，且 $D^{*} (x) = \frac{1}{2}$ 處處成立。

訓練演算法：

交替最佳化：在大小為 $m$ 的迷你批次（minibatches）上，使用梯度上升法訓練 $D$ 共 $k$ 個步驟（實驗中採用 $k = 1$ ）： $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
執行一次梯度下降步驟來更新 $G$ 。由於在訓練初期 $D$ 能輕易識破品質不良的生成樣本，導致 $lo g (1 - D (G (z)))$ 容易飽和，因此在實務上改為透過最大化 $lo g D (G (z))$ 來更新 $G$ 。

結果（與重要數據）

作者在 MNIST、Toronto Face Database (TFD) 與 CIFAR-10 上評估了對抗網路。由於 GAN 無法直接計算封閉形式的概似度，因此透過對生成樣本擬合高斯 Parzen 窗並計算測試集對數似然值進行量化評估：

MNIST：對抗網路達到了 $225 \pm 2$ 的平均對數似然值，優於深度信念網路（Deep Belief Networks, $138 \pm 2$ ）、堆疊收縮自編碼器（Stacked Contractive Autoencoders, $121 \pm 1.6$ ）以及深度生成隨機網路（Deep Generative Stochastic Networks, $214 \pm 1.1$ ）。
TFD：對抗網路達到 $2057 \pm 26$ ，與 Stacked CAE（ $2110 \pm 50$ ）相當，且顯著優於 DBN（ $1909 \pm 66$ ）與 Deep GSN（ $1890 \pm 29$ ）。
質性生成成果：對隨機樣本的視覺檢視證實了其高影像品質且未發生死記硬背現象（透過展示訓練集中最近鄰樣本驗證），同時展示了在潛在空間 $z$ 中的平滑內插。

局限性與待解決問題

缺乏顯式機率密度函數：該模型以隱式方式從 $p_{g} (x)$ 取樣，使得精確的密度評估變得不可行，必須依賴啟發式評估（例如 Parzen 窗估計）。
模態崩塌（Mode Collapse，文中稱「Helvetica 情境」）：若在鑑別器更新不足的情況下過度訓練 $G$ ， $G$ 可能會將許多不同的 $z$ 值映射到相同的 $x$ 輸出，無法捕捉 $p_{data}$ 的完整多樣性。
訓練不穩定：在整個訓練過程中必須小心維持 $D$ 與 $G$ 之間的平衡，以避免出現退化動態或梯度消失問題。

關鍵術語

Generative Adversarial Nets (生成對抗網路): 一種訓練生成模型的架構，由生成器網路與鑑別器網路在雙人極小化極大賽局中相互競爭。
Generator ($G$) (生成器): 一種可微分神經網路，將潛在先驗雜訊 $z$ 映射至資料空間，以逼近真實資料分佈 $p_{data}$ 。
Discriminator ($D$) (鑑別器): 一種神經網路分類器，用於估計輸入樣本來自真實資料集而非生成器的機率。
Jensen–Shannon Divergence (JSD，Jensen–Shannon 散度): 兩個機率分佈之間對稱且有界的距離度量；當 $p_{data}$ 與 $p_{g}$ 之間的 JSD 為零時，GAN 的極小化極大目標達到最小化。
Helvetica Scenario (Helvetica 情境): 一種失效模式（現通常稱為模態崩塌，mode collapse），指生成器因缺乏多樣性而將許多不同的潛在雜訊向量 $z$ 映射到完全相同的資料點 $x$ 。
Gaussian Parzen Window (高斯 Parzen 窗): 作者用來從生成器樣本中估計測試集對數似然值的非參數核密度估計（KDE）方法。
Non-saturating game (非飽和賽局): 實務上替代原生成器目標的做法，改為最大化 $lo g D (G (z))$ 而非最小化 $lo g (1 - D (G (z)))$ ，以防止訓練初期的梯度消失。

常見問題

為什麼生成器的原始極小化極大損失 $\log(1 - D(G(\bm{z})))$ 需要被替換？

在訓練初期，當生成器產生的樣本品質較差時，鑑別器能以極高信心輕易將其判定為偽造。這會導致 $lo g (1 - D (G (z)))$ 飽和，產生極小的梯度。改為最大化 $lo g D (G (z))$ 可以在初期提供更強大的梯度，同時維持相同的不動點。

該賽局的理論最佳值是多少？

當 $G$ 達到全域最佳解（ $p_{g} = p_{data}$ ）時，最佳鑑別器的預測在各處皆為 $D^{*} (x) = \frac{1}{2}$ ，且價值函數達到 $- lo g 4$ 。

相較於當時的生成模型（如 RBM 或 GSN），GAN 的優勢為何？

GAN 取樣時不需要馬可夫鏈、不需要近似難以計算的配分函數、在訓練期間避免了顯式的推論步驟，並且能完全使用反向傳播搭配現代激活函數（如 ReLU 與 maxout）進行訓練。

論文中鑑別器步數 $k$ 的超參數設定為何？

作者在實驗中採用每次生成器更新對應 $k = 1$ 次鑑別器更新，這是計算成本最低的設定。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）