Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

Статьи · arXiv 1406.2661

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

Опубликовано 2014-06-10stat.MLcs.LG arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Глубокие генеративные модели сталкивались с вычислительно сложными вероятностными расчетами, ненормализованными статистическими суммами и зависимостью от цепей Маркова.
🔧 Генеративное моделирование сформулировано как минимаксная игра двух игроков между генератором $G$ и дискриминатором $D$ , обучаемая методом обратного распространения ошибки.
📈 Достигает глобального оптимума, где $p_{g} = p_{data}$ , и показывает логарифмическое правдоподобие по окну Парзена $225 \pm 2$ на MNIST и $2057 \pm 26$ на TFD.

Аннотация

Мы предлагаем новую структуру для оценки генеративных моделей с помощью состязательного процесса, в котором одновременно обучаются две модели: генеративная модель G, улавливающая распределение данных, и дискриминативная модель D, оценивающая вероятность того, что образец взят из обучающих данных, а не сгенерирован G. Процедура обучения для G заключается в максимизации вероятности ошибки D. Эта схема соответствует минимаксной игре двух игроков. В пространстве произвольных функций G и D существует единственное решение, при котором G восстанавливает распределение обучающих данных, а D повсеместно равен 1/2. В случае, когда G и D задаются многослойными перцептронами, вся система может быть обучена с помощью алгоритма обратного распространения ошибки. При этом не требуется применение цепей Маркова или развернутых сетей приближенного вывода ни на этапе обучения, ни при генерации образцов. Эксперименты демонстрируют потенциал предложенной структуры посредством качественной и количественной оценки сгенерированных образцов.

Оригинальная аннотация (англ.)

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

Разбор статьи

Проблема и мотивация

Глубокое обучение достигло впечатляющих успехов в дискриминативных задачах благодаря обратному распространению ошибки, dropout и кусочно-линейным функциям активации. Напротив, глубокие генеративные модели оказывали куда меньшее влияние из-за серьезных вычислительных сложностей: трудновычислимых статистических сумм, сложного приближенного вывода и необходимости применения методов Монте-Карло по схеме марковских цепей (MCMC) как при обучении, так и при генерации выборок. Алгоритмы MCMC часто страдают от медленного перемешивания между модами. Авторы стремились разработать генеративную архитектуру, исключающую необходимость использования цепей Маркова или сетей приближенного вывода на всех этапах.

Ключевые идеи

Состязательная парадигма (Adversarial Framework): представление генеративного моделирования в виде минимаксной игры между двумя многослойными перцептронами: генератором $G$ (аналог фальшивомонетчиков) и дискриминатором $D$ (аналог полиции).
Генерация выборок через прямое распространение: генератор $G (z; θ_{g})$ напрямую преобразует случайный шум $z \sim p_{z}$ в синтетические образцы данных с помощью стандартных вычислений прямого прохода.
Прямой градиентный поток: генератор обновляется исключительно на основе градиентов, распространяемых обратно через дискриминатор, а не путем прямой подгонки под отдельные обучающие примеры.
Теоретическая связь с дивергенциями: в непараметрическом пределе, когда $G$ и $D$ обладают бесконечной емкостью, оптимизация минимаксной целевой функции эквивалентна минимизации дивергенции Йенсена–Шеннона между распределением реальных данных $p_{data}$ и распределением модели $p_{g}$ .

Метод (с ключевыми уравнениями)

Система состоит из генератора $G (z; θ_{g})$ , отображающего априорное латентное распределение $p_{z} (z)$ в пространство данных, и дискриминатора $D (x; θ_{d})$ , предсказывающего вероятность того, что $x$ принадлежит $p_{data}$ , а не $p_{g}$ .

Минимаксная функция стоимости имеет вид: $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

Для любого фиксированного генератора $G$ оптимальный дискриминатор аналитически определяется как: $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

Подстановка $D_{G}^{*}$ в $V (D, G)$ дает виртуальный критерий обучения $C (G) = max_{D} V (G, D)$ , который сводится к: $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ Глобальный минимум однозначно достигается при $p_{g} = p_{data}$ , что дает $C (G) = - lo g 4$ и $D^{*} (x) = \frac{1}{2}$ повсеместно.

Алгоритм обучения:

Чередующаяся оптимизация: обучение $D$ в течение $k$ шагов (в экспериментах использовалось $k = 1$ ) с помощью градиентного подъема на мини-батчах размера $m$ : $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
Обновление $G$ одним шагом градиентного спуска. Поскольку значение $lo g (1 - D (G (z)))$ может насыщаться в начале обучения, когда $D$ легко отклоняет плохие образцы генератора, на практике $G$ обновляется путем максимизации $lo g D (G (z))$ .

Результаты (с важнейшими показателями)

Авторы оценивали состязательные сети на датасетах MNIST, Toronto Face Database (TFD) и CIFAR-10. Поскольку GAN не обеспечивают вычисление правдоподобия в явном виде, производительность оценивалась количественно путем подгонки гауссова окна Парзена к сгенерированным образцам с последующим расчетом логарифмического правдоподобия на тестовой выборке:

MNIST: состязательные сети достигли среднего логарифмического правдоподобия $225 \pm 2$ , превзойдя Deep Belief Networks ( $138 \pm 2$ ), Stacked Contractive Autoencoders ( $121 \pm 1.6$ ) и Deep Generative Stochastic Networks ( $214 \pm 1.1$ ).
TFD: состязательные сети достигли $2057 \pm 26$ , показав результат, сопоставимый со Stacked CAEs ( $2110 \pm 50$ ) и превышающий DBNs ( $1909 \pm 66$ ) и Deep GSNs ( $1890 \pm 29$ ).
Качественная генерация: визуальный анализ случайных выборок подтвердил высокое качество без эффекта запоминания (верифицировано поиском ближайших обучающих соседей) и продемонстрировал плавную интерполяцию в латентном пространстве $z$ .

Ограничения и открытые вопросы

Отсутствие явной функции плотности: модель неявно генерирует выборки из $p_{g} (x)$ , делая точную оценку плотности невозможной и требуя эвристических методов оценки, таких как окна Парзена.
Коллапс мод («The Helvetica Scenario»): если $G$ обучается слишком интенсивно без достаточного числа обновлений дискриминатора, $G$ может спроецировать множество различных значений $z$ в одинаковые выходные данные $x$ , теряя способность отражать все разнообразие $p_{data}$ .
Нестабильность обучения: между $D$ и $G$ должен поддерживаться строгий баланс на протяжении всего процесса обучения во избежание вырождения динамики или затухания градиентов.

Ключевые термины

Generative Adversarial Nets: Фреймворк для обучения генеративных моделей, в котором сеть-генератор и сеть-дискриминатор соревнуются в минимаксной игре двух игроков.
Generator ($G$): Дифференцируемая нейронная сеть, которая отображает шум из латентного априорного распределения $z$ в пространство данных для аппроксимации истинного распределения данных $p_{data}$ .
Discriminator ($D$): Нейросетевой классификатор, обучаемый оценивать вероятность того, что входной образец взят из реального набора данных, а не создан генератором.
Jensen–Shannon Divergence (JSD): Симметричная ограниченная мера различия между двумя вероятностными распределениями; минимаксная функция потерь GAN минимизируется, когда JSD между $p_{data}$ и $p_{g}$ равна нулю.
Helvetica Scenario: Режим сбоя (ныне известный как коллапс мод), при котором генератор отображает множество различных векторов латентного шума $z$ в одну и ту же точку данных $x$ из-за потери разнообразия.
Gaussian Parzen Window: Непараметрический метод ядерной оценки плотности, использованный авторами для приближенной оценки логарифмического правдоподобия на тестовом наборе по сгенерированным образцам.
Non-saturating game: Практическая альтернативная целевая функция генератора, заключающаяся в максимизации $lo g D (G (z))$ вместо минимизации $lo g (1 - D (G (z)))$ для предотвращения затухания градиентов на ранних этапах обучения.

Вопросы

Зачем заменять исходную минимаксную функцию потерь $\log(1 - D(G(\bm{z})))$ для генератора?

В начале обучения, когда генератор создает плохие образцы, дискриминатор легко и с высокой уверенностью классифицирует их как поддельные. Это приводит к насыщению функции $lo g (1 - D (G (z)))$ и очень малым градиентам. Максимизация $lo g D (G (z))$ обеспечивает гораздо более сильные градиенты на ранних этапах, сохраняя ту же неподвижную точку.

Каково теоретическое оптимальное значение игры?

Когда $G$ достигает глобального оптимума ( $p_{g} = p_{data}$ ), оптимальный дискриминатор предсказывает $D^{*} (x) = \frac{1}{2}$ повсеместно, а функция стоимости принимает значение $- lo g 4$ .

В чем заключались преимущества GAN по сравнению с современными им генеративными моделями, такими как RBM или GSN?

Они не требуют цепей Маркова для сэмплирования, не нуждаются в аппроксимации трудновычислимых статистических сумм, избегают явного шага логического вывода при обучении и могут обучаться исключительно методом обратного распространения ошибки с современными функциями активации, такими как ReLU и maxout.

Какое значение гиперпараметра шагов дискриминатора $k$ использовалось в статье?

В своих экспериментах авторы использовали $k = 1$ шаг обновления дискриминатора на одно обновление генератора как наименее затратный с вычислительной точки зрения вариант.

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ