Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

论文 · arXiv 1406.2661

生成对抗网络 (Generative Adversarial Networks)

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

发表于 2014-06-10stat.MLcs.LG arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 传统深度生成模型受困于难解的概率计算、未归一化的配分函数以及对马尔可夫链的依赖。
🔧 将生成建模构建为生成器 $G$ 与判别器 $D$ 之间的二人极小化极大博弈，可通过反向传播直接训练。
📈 理论上可达到 $p_{g} = p_{data}$ 的全局最优解，并在 MNIST 上取得 $225 \pm 2$ 、在 TFD 上取得 $2057 \pm 26$ 的高斯 Parzen 窗对数似然度。

摘要

我们提出了一个通过对抗过程估计生成模型的新框架。在此框架中，我们同时训练两个模型：一个捕获数据分布的生成模型 G，以及一个估计样本来自训练数据而非 G 的概率的判别模型 D。G 的训练过程是最大化 D 产生错误的概率。该框架对应于一个二人极小化极大博弈（minimax game）。在任意函数 G 和 D 的空间中存在唯一解，此时 G 能够恢复训练数据分布，且 D 在各处均等于 1/2。当 G 和 D 由多层感知机定义时，整个系统可以通过反向传播进行训练。无论是在训练还是生成样本的过程中，均无需使用任何马尔可夫链或展开的近似推断网络。实验通过对生成样本的定性与定量评估，展示了该框架的潜力。

英文原文摘要

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

论文解读

问题与动机

深度学习凭借反向传播、dropout 和分段线性单元在判别任务中取得了巨大成功。相比之下，深度生成模型的影响力则小得多，主要受限于严重的计算瓶颈：难解的配分函数、复杂的近似推断，以及在训练和样本生成过程中对马尔可夫链蒙特卡洛（MCMC）方法的依赖。MCMC 算法往往面临模态间混相缓慢（slow mixing）的问题。因此，作者旨在设计一种生成框架，在训练和生成阶段均完全摒弃马尔可夫链或近似推断网络。

核心思想

对抗框架：将生成建模形式化为两个多层感知机之间的极小化极大博弈：生成器 $G$ （类似于假币制造者）与判别器 $D$ （类似于警察）。
前向传播采样：生成器 $G (z; θ_{g})$ 利用标准的前向计算，直接将随机噪声 $z \sim p_{z}$ 映射为合成数据样本。
直接梯度流动：生成器的更新完全依赖通过判别器反向传播回来的梯度，而不是直接拟合具体的训练样本。
与散度的理论联系：在 $G$ 和 $D$ 具有无限容量的非参数极限下，优化极小化极大目标等价于最小化真实数据分布 $p_{data}$ 与模型分布 $p_{g}$ 之间的 Jensen–Shannon 散度（JSD）。

方法（及核心公式）

该系统包含将隐先验 $p_{z} (z)$ 映射到数据空间的生成器 $G (z; θ_{g})$ ，以及预测输入 $x$ 来自 $p_{data}$ 而非 $p_{g}$ 之概率的判别器 $D (x; θ_{d})$ 。

极小化极大价值函数为： $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

对于任意固定的生成器 $G$ ，解析推导得出的最优判别器为： $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

将 $D_{G}^{*}$ 代入 $V (D, G)$ 可得到虚拟训练准则 $C (G) = max_{D} V (G, D)$ ，可化简为： $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ 当且仅当 $p_{g} = p_{data}$ 时取得全局最小值，此时 $C (G) = - lo g 4$ ，且对所有输入均有 $D^{*} (x) = \frac{1}{2}$ 。

训练算法：

交替优化：在大小为 $m$ 的小批量上使用梯度上升训练 $D$ 共 $k$ 步（实验中取 $k = 1$ ）： $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
使用单步梯度下降更新 $G$ 。由于在训练初期 $D$ 能够轻易识别生成质量较差的样本，导致 $lo g (1 - D (G (z)))$ 出现饱和，因此在实际操作中，通过最大化 $lo g D (G (z))$ 来更新 $G$ 。

结果（及重要指标）

作者在 MNIST、Toronto Face Database (TFD) 和 CIFAR-10 上评估了对抗网络。由于 GAN 无法提供闭式似然估计，因此通过在生成样本上拟合高斯 Parzen 窗并计算测试集对数似然来定量评估性能：

MNIST：对抗网络取得了 $225 \pm 2$ 的平均对数似然，优于深度信念网络（DBN， $138 \pm 2$ ）、堆叠去噪收缩自编码器（Stacked Contractive Autoencoders， $121 \pm 1.6$ ）以及深度生成随机网络（GSN， $214 \pm 1.1$ ）。
TFD：对抗网络达到了 $2057 \pm 26$ ，与堆叠 CAE（ $2110 \pm 50$ ）相当，并优于 DBN（ $1909 \pm 66$ ）和深度 GSN（ $1890 \pm 29$ ）。
定性生成效果：对随机生成样本的目视检查证实了其高质量且没有记忆训练集（通过展示最近训练邻居验证），并在隐空间 $z$ 中展现了平滑的插值过渡。

局限性与待解决问题

缺乏显式密度函数：模型仅隐式地对 $p_{g} (x)$ 进行采样，使得精确计算概率密度变得不可行，必须依赖 Parzen 窗估计等启发式评估方法。
模式崩溃（"Helvetica 情形"）：若在判别器未充分更新的情况下过度训练 $G$ ， $G$ 可能会将许多不同的 $z$ 映射到完全相同的输出 $x$ ，无法捕获 $p_{data}$ 的多样性。
训练不稳定性：在整个训练过程中必须精心维持 $D$ 与 $G$ 之间的平衡，以防止出现退化动态或梯度消失。

关键术语

Generative Adversarial Nets (生成对抗网络): 一种用于训练生成模型的框架，其中生成器网络和判别器网络在二人极小化极大博弈中展开竞争。
Generator ($G$) (生成器): 一个可微神经网络，将隐先验噪声 $z$ 映射到数据空间，以逼近真实数据分布 $p_{data}$ 。
Discriminator ($D$) (判别器): 一个神经网络分类器，经训练用于估计输入样本来自真实数据集而非生成器的概率。
Jensen–Shannon Divergence (JSD) (JS 散度): 一种对称且有界的概率分布距离度量；当 $p_{data}$ 与 $p_{g}$ 之间的 JSD 为零时，GAN 的极小化极大目标取得最小值。
Helvetica Scenario (Helvetica 情形 / 模式崩溃): 一种失效模式（现通常称为模式崩溃），指由于缺乏多样性，生成器将许多不同的隐噪声向量 $z$ 映射到完全相同的数据点 $x$ 。
Gaussian Parzen Window (高斯 Parzen 窗): 一种非参数核密度估计方法，作者用其从生成器样本中近似评估测试集的对数似然。
Non-saturating game (非饱和博弈): 一种实用的替代生成器目标，通过最大化 $lo g D (G (z))$ 而非最小化 $lo g (1 - D (G (z)))$ ，以防止训练初期的梯度消失。

常见问题

为什么在实际训练中要将生成器的原始极小化极大损失 $\log(1 - D(G(\bm{z})))$ 替换掉？

在训练初期，生成器生成的样本质量较差，判别器能够以极高置信度轻易将其判定为假。这会导致 $lo g (1 - D (G (z)))$ 发生饱和，产生极小的梯度。改为最大化 $lo g D (G (z))$ 可以在初期提供强得多的梯度，同时保持相同的不动点解。

该博弈的理论最优值是多少？

当 $G$ 达到全局最优（ $p_{g} = p_{data}$ ）时，最优判别器在各处的预测均为 $D^{*} (x) = \frac{1}{2}$ ，此时价值函数的值为 $- lo g 4$ 。

与同期的生成模型（如 RBM 或 GSN）相比，GAN 有哪些优势？

GAN 采样时无需马尔可夫链，不需要难解的配分函数近似，在训练期间避免了显式推断步骤，并且可以完全基于反向传播配合 ReLU、maxout 等现代激活函数进行端到端训练。

论文中判别器训练步数 $k$ 的超参数设置是多少？

作者在实验中设置每次生成器更新前进行 $k = 1$ 次判别器更新，这是计算成本最低的设置。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）