Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

Articles · arXiv 1406.2661

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

Publié le 2014-06-10stat.MLcs.LG arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Les modèles génératifs profonds se heurtaient à des calculs probabilistes intraitables, des fonctions de partition non normalisées et la dépendance aux chaînes de Markov.
🔧 Formule la modélisation générative comme un jeu minimax à deux joueurs entre un générateur $G$ et un discriminateur $D$ , entraînables par rétropropagation.
📈 Atteint l'optimalité globale où $p_{g} = p_{data}$ et obtient une log-vraisemblance par fenêtre de Parzen gaussienne de $225 \pm 2$ sur MNIST et $2057 \pm 26$ sur TFD.

Résumé

Nous proposons un nouveau cadre pour estimer des modèles génératifs via un processus contradictoire, dans lequel nous entraînons simultanément deux modèles : un modèle génératif G qui capture la distribution des données, et un modèle discriminatif D qui estime la probabilité qu'un échantillon provienne des données d'entraînement plutôt que de G. La procédure d'entraînement de G consiste à maximiser la probabilité que D commette une erreur. Ce cadre correspond à un jeu minimax à deux joueurs. Dans l'espace des fonctions arbitraires G et D, il existe une solution unique, où G reproduit la distribution des données d'entraînement et D est égal à 1/2 partout. Dans le cas où G et D sont définis par des perceptrons multicouches, l'ensemble du système peut être entraîné par rétropropagation. Il n'est nécessaire de recourir à aucune chaîne de Markov ni à aucun réseau d'inférence approchée déroulé, que ce soit lors de l'entraînement ou de la génération d'échantillons. Les expériences démontrent le potentiel de ce cadre à travers une évaluation qualitative et quantitative des échantillons générés.

Résumé original (anglais)

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

Guide de lecture

Problème et motivation

L'apprentissage profond a rencontré un succès spectaculaire dans les tâches discriminatives en tirant parti de la rétropropagation, du dropout et des unités linéaires par morceaux. En revanche, les modèles génératifs profonds ont eu beaucoup moins d'impact en raison de goulots d'étranglement computationnels majeurs : fonctions de partition intraitables, inférence approchée difficile et nécessité d'utiliser des méthodes de Monte-Carlo par chaînes de Markov (MCMC) pendant l'entraînement et la génération d'échantillons. Les algorithmes MCMC souffrent fréquemment d'un mélange lent entre les modes. Les auteurs ont entrepris de concevoir un cadre génératif éliminant le besoin de chaînes de Markov ou de réseaux d'inférence approchée, tant lors de l'entraînement que de la génération.

Idées maîtresses

Cadre contradictoire : Formuler la modélisation générative comme un jeu minimax entre deux perceptrons multicouches : un générateur $G$ (analogue à des faussaires) et un discriminateur $D$ (analogue à la police).
Échantillonnage par propagation avant : Le générateur $G (z; θ_{g})$ transforme directement un bruit aléatoire $z \sim p_{z}$ en échantillons de données synthétiques à l'aide d'un calcul feedforward standard.
Flux direct du gradient : Le générateur est mis à jour uniquement via les gradients rétropropagés à travers le discriminateur, plutôt qu'en s'ajustant directement à des exemples d'entraînement individuels.
Lien théorique avec les divergences : Dans la limite non paramétrique où $G$ et $D$ ont une capacité infinie, l'optimisation de l'objectif minimax revient à minimiser la divergence de Jensen–Shannon entre la distribution réelle des données $p_{data}$ et la distribution du modèle $p_{g}$ .

Méthode (avec les équations clés)

Le système est composé du générateur $G (z; θ_{g})$ , qui applique le bruit a priori latent $p_{z} (z)$ vers l'espace des données, et du discriminateur $D (x; θ_{d})$ , qui prédit la probabilité que $x$ provienne de $p_{data}$ plutôt que de $p_{g}$ .

La fonction de valeur minimax est : $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

Pour tout générateur $G$ fixé, le discriminateur optimal est dérivé analytiquement par : $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

En substituant $D_{G}^{*}$ dans $V (D, G)$ , on obtient le critère d'entraînement virtuel $C (G) = max_{D} V (G, D)$ , qui se réduit à : $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ Le minimum global est atteint de manière unique lorsque $p_{g} = p_{data}$ , ce qui donne $C (G) = - lo g 4$ et $D^{*} (x) = \frac{1}{2}$ partout.

Algorithme d'entraînement :

Optimisation alternée : entraîner $D$ pendant $k$ étapes ( $k = 1$ utilisé expérimentalement) par montée de gradient sur des minilots de taille $m$ : $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
Mettre à jour $G$ avec une étape de descente de gradient. Comme $lo g (1 - D (G (z)))$ peut saturer en début d'entraînement lorsque $D$ rejette facilement les mauvais échantillons générés, $G$ est en pratique mis à jour en maximisant $lo g D (G (z))$ .

Résultats (avec les chiffres les plus importants)

Les auteurs ont évalué les réseaux contradictoires sur MNIST, la Toronto Face Database (TFD) et CIFAR-10. Les GAN n'offrant pas de vraisemblance sous forme explicite, les performances ont été évaluées quantitativement en ajustant une fenêtre de Parzen gaussienne sur les échantillons générés et en calculant la log-vraisemblance sur l'ensemble de test :

MNIST : Les réseaux contradictoires ont atteint une log-vraisemblance moyenne de $225 \pm 2$ , surpassant les Deep Belief Networks ( $138 \pm 2$ ), les Stacked Contractive Autoencoders ( $121 \pm 1, 6$ ) et les Deep Generative Stochastic Networks ( $214 \pm 1, 1$ ).
TFD : Les réseaux contradictoires ont atteint $2057 \pm 26$ , un résultat compétitif face aux Stacked CAE ( $2110 \pm 50$ ) et supérieur aux DBN ( $1909 \pm 66$ ) et Deep GSN ( $1890 \pm 29$ ).
Génération qualitative : L'inspection visuelle des échantillons aléatoires a confirmé une qualité élevée sans mémorisation (vérifiée en affichant les voisins d'entraînement les plus proches) et a montré des interpolations lisses dans l'espace latent $z$ .

Limites et questions ouvertes

Pas de fonction de densité explicite : Le modèle échantillonne implicitement $p_{g} (x)$ , ce qui rend l'évaluation exacte de la densité intraitable et nécessite des évaluations heuristiques comme l'estimation par fenêtre de Parzen.
Effondrement de mode (« The Helvetica Scenario ») : Si $G$ est trop entraîné sans mises à jour suffisantes du discriminateur, $G$ peut faire converger de nombreuses valeurs distinctes de $z$ vers des sorties $x$ identiques, échouant ainsi à capturer toute la diversité de $p_{data}$ .
Instabilité de l'entraînement : $D$ et $G$ doivent rester soigneusement équilibrés tout au long de l'entraînement afin d'éviter des dynamiques dégénérées ou la disparition du gradient.

Termes clés

Generative Adversarial Nets: Un cadre d'entraînement de modèles génératifs où un réseau générateur et un réseau discriminateur s'affrontent dans un jeu minimax à deux joueurs.
Generator ($G$): Un réseau de neurones différentiable qui transforme le bruit a priori latent $z$ vers l'espace des données pour approximer la distribution réelle des données $p_{data}$ .
Discriminator ($D$): Un classifieur à réseau de neurones entraîné à estimer la probabilité qu'un échantillon d'entrée provienne du jeu de données réel plutôt que du générateur.
Jensen–Shannon Divergence (JSD): Une mesure symétrique et bornée de la distance entre deux distributions de probabilité ; l'objectif minimax des GAN est minimisé lorsque la JSD entre $p_{data}$ et $p_{g}$ est nulle.
Helvetica Scenario: Le mode de défaillance (désormais communément appelé effondrement de mode ou mode collapse) dans lequel le générateur associe de nombreux vecteurs de bruit latent distincts $z$ au même point de données $x$ en raison d'un manque de diversité.
Gaussian Parzen Window: Une méthode non paramétrique d'estimation de densité par noyau utilisée par les auteurs pour approximer la log-vraisemblance sur le jeu de test à partir d'échantillons générés.
Non-saturating game: L'objectif pratique alternatif pour le générateur consistant à maximiser $lo g D (G (z))$ au lieu de minimiser $lo g (1 - D (G (z)))$ afin d'éviter la disparition du gradient en début d'entraînement.

Questions

Pourquoi remplacer la perte minimax d'origine $\log(1 - D(G(\bm{z})))$ pour le générateur ?

En début d'entraînement, lorsque le générateur produit de mauvais échantillons, le discriminateur les classifie facilement comme faux avec une grande confiance. Cela entraîne une saturation de $lo g (1 - D (G (z)))$ , produisant des gradients minuscules. Maximiser $lo g D (G (z))$ fournit des gradients bien plus forts au départ tout en conservant le même point fixe.

Quelle est la valeur optimale théorique du jeu ?

Lorsque $G$ atteint l'optimum global ( $p_{g} = p_{data}$ ), le discriminateur optimal prédit $D^{*} (x) = \frac{1}{2}$ partout, et la fonction de valeur atteint $- lo g 4$ .

Pourquoi les GAN étaient-ils avantageux par rapport aux modèles génératifs contemporains tels que les RBM ou les GSN ?

Ils ne nécessitent pas de chaînes de Markov pour l'échantillonnage, n'exigent pas d'approximations intraitables de la fonction de partition, évitent les étapes d'inférence explicite pendant l'entraînement et peuvent être entraînés uniquement par rétropropagation avec des fonctions d'activation modernes comme les ReLU et maxout.

Quel était le réglage de l'hyperparamètre du nombre d'étapes du discriminateur $k$ dans l'article ?

Les auteurs ont utilisé $k = 1$ mise à jour du discriminateur par mise à jour du générateur dans leurs expériences, car c'était l'option la moins coûteuse en calcul.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA