Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

Artículos · arXiv 1406.2661

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

Publicado 2014-06-10stat.MLcs.LG arXiv PDF

Leer con traducción e IA

Resumen en tres líneas

🎯 Los modelos generativos profundos enfrentaban cálculos probabilísticos intratables, funciones de partición no normalizadas y dependencia de cadenas de Markov.
🔧 Formula el modelado generativo como un juego minimax de dos jugadores entre un generador $G$ y un discriminador $D$ , entrenable mediante backpropagation.
📈 Alcanza la optimalidad global donde $p_{g} = p_{data}$ y logra una log-verosimilitud con ventana de Parzen gaussiana de $225 \pm 2$ en MNIST y $2057 \pm 26$ en TFD.

Resumen

Proponemos un nuevo marco para estimar modelos generativos mediante un proceso adversarial, en el que entrenamos simultáneamente dos modelos: un modelo generativo G que captura la distribución de los datos, y un modelo discriminativo D que estima la probabilidad de que una muestra provenga de los datos de entrenamiento y no de G. El procedimiento de entrenamiento para G consiste en maximizar la probabilidad de que D cometa un error. Este marco corresponde a un juego minimax de dos jugadores. En el espacio de funciones arbitrarias G y D, existe una solución única, con G recuperando la distribución de los datos de entrenamiento y D igual a 1/2 en todas partes. En el caso en que G y D están definidos mediante perceptrones multicapa, todo el sistema puede entrenarse con backpropagation. No se requiere ninguna cadena de Markov ni redes de inferencia aproximada desenrolladas durante el entrenamiento o la generación de muestras. Los experimentos demuestran el potencial del marco mediante la evaluación cualitativa y cuantitativa de las muestras generadas.

Resumen original (inglés)

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

Guía de lectura

Problema y motivación

El aprendizaje profundo logró un éxito extraordinario en tareas discriminativas aprovechando backpropagation, dropout y unidades lineales a trozos. En contraste, los modelos generativos profundos tuvieron un impacto mucho menor debido a graves cuellos de botella computacionales: funciones de partición intratables, inferencia aproximada compleja y la necesidad de métodos de Monte Carlo basados en cadenas de Markov (MCMC) durante el entrenamiento y la generación de muestras. Los algoritmos MCMC con frecuencia sufren de una mezcla lenta entre modos. Los autores se propusieron diseñar un marco generativo que elimine la necesidad de cadenas de Markov o redes de inferencia aproximada tanto durante el entrenamiento como en la generación.

Ideas clave

Marco adversarial: Formular el modelado generativo como un juego minimax entre dos perceptrones multicapa: un generador $G$ (análogo a un falsificador) y un discriminador $D$ (análogo a la policía).
Muestreo mediante propagación hacia adelante: El generador $G (z; θ_{g})$ transforma directamente ruido aleatorio $z \sim p_{z}$ en muestras de datos sintéticos utilizando computación feedforward estándar.
Flujo directo de gradientes: El generador se actualiza únicamente mediante gradientes propagados hacia atrás a través del discriminador, en lugar de ajustarse directamente a ejemplos de entrenamiento individuales.
Conexión teórica con divergencias: En el límite no paramétrico donde $G$ y $D$ tienen capacidad infinita, optimizar el objetivo minimax minimiza la divergencia de Jensen–Shannon entre la distribución de datos reales $p_{data}$ y la distribución del modelo $p_{g}$ .

Método (con las ecuaciones clave)

El sistema consta de un generador $G (z; θ_{g})$ que mapea una distribución a priori latente $p_{z} (z)$ al espacio de datos, y un discriminador $D (x; θ_{d})$ que predice la probabilidad de que $x$ provenga de $p_{data}$ en lugar de $p_{g}$ .

La función de valor minimax es: $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

Para cualquier generador $G$ fijo, el discriminador óptimo se deriva analíticamente como: $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

Al sustituir $D_{G}^{*}$ en $V (D, G)$ se obtiene el criterio de entrenamiento virtual $C (G) = max_{D} V (G, D)$ , que se reduce a: $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ El mínimo global se alcanza de manera única cuando $p_{g} = p_{data}$ , lo que resulta en $C (G) = - lo g 4$ y $D^{*} (x) = \frac{1}{2}$ en todas partes.

Algoritmo de entrenamiento:

Optimización alternada: entrenar $D$ durante $k$ pasos ( $k = 1$ usado experimentalmente) mediante ascenso de gradiente en minilotes de tamaño $m$ : $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
Actualizar $G$ con un paso de descenso de gradiente. Dado que $lo g (1 - D (G (z)))$ puede saturarse al principio del entrenamiento cuando $D$ rechaza fácilmente las muestras deficientes del generador, en la práctica $G$ se actualiza maximizando $lo g D (G (z))$ en su lugar.

Resultados (con las cifras más importantes)

Los autores evaluaron las redes adversariales en MNIST, la Toronto Face Database (TFD) y CIFAR-10. Dado que las GANs no proporcionan una verosimilitud en forma cerrada, el rendimiento se evaluó cuantitativamente ajustando una ventana de Parzen gaussiana a las muestras generadas y calculando la log-verosimilitud en el conjunto de prueba:

MNIST: Las redes adversariales lograron una log-verosimilitud media de $225 \pm 2$ , superando a las Deep Belief Networks ( $138 \pm 2$ ), los Stacked Contractive Autoencoders ( $121 \pm 1.6$ ) y las Deep Generative Stochastic Networks ( $214 \pm 1.1$ ).
TFD: Las redes adversariales alcanzaron $2057 \pm 26$ , siendo competitivas con los Stacked CAEs ( $2110 \pm 50$ ) y superando a las DBNs ( $1909 \pm 66$ ) y Deep GSNs ( $1890 \pm 29$ ).
Generación cualitativa: La inspección visual de muestras aleatorias confirmó alta calidad sin memorización (verificada al mostrar los vecinos de entrenamiento más cercanos) y demostró interpolaciones suaves en el espacio latente en $z$ .

Limitaciones y preguntas abiertas

Sin función de densidad explícita: El modelo muestrea implícitamente $p_{g} (x)$ , lo que hace intratable la evaluación exacta de la densidad y requiere evaluaciones heurísticas como las estimaciones de ventana de Parzen.
Colapso de modo ("The Helvetica Scenario"): Si $G$ se entrena en exceso sin suficientes actualizaciones del discriminador, $G$ puede colapsar muchos valores distintos de $z$ en salidas $x$ idénticas, sin lograr capturar toda la diversidad de $p_{data}$ .
Inestabilidad del entrenamiento: $D$ y $G$ deben mantenerse cuidadosamente equilibrados a lo largo del entrenamiento para evitar dinámicas degeneradas o desvanecimiento del gradiente.

Términos clave

Generative Adversarial Nets: Un marco para entrenar modelos generativos donde una red generadora y una red discriminadora compiten en un juego minimax de dos jugadores.
Generator ($G$): Una red neuronal diferenciable que transforma ruido latente a priori $z$ en el espacio de datos para aproximar la verdadera distribución de datos $p_{data}$ .
Discriminator ($D$): Un clasificador de red neuronal entrenado para estimar la probabilidad de que una muestra provenga del conjunto de datos real y no del generador.
Jensen–Shannon Divergence (JSD): Una medida simétrica y acotada de distancia entre dos distribuciones de probabilidad; el objetivo minimax de la GAN se minimiza cuando la JSD entre $p_{data}$ y $p_{g}$ es cero.
Helvetica Scenario: El modo de fallo (ahora comúnmente conocido como colapso de modo) donde el generador mapea muchos vectores de ruido latente distintos $z$ exactamente al mismo punto de datos $x$ debido a una falta de diversidad.
Gaussian Parzen Window: Un método de estimación no paramétrica de densidad por kernel utilizado por los autores para aproximar la log-verosimilitud del conjunto de prueba a partir de muestras del generador.
Non-saturating game: El objetivo práctico alternativo para el generador consistente en maximizar $lo g D (G (z))$ en lugar de minimizar $lo g (1 - D (G (z)))$ para evitar el desvanecimiento del gradiente al inicio del entrenamiento.

Preguntas

¿Por qué reemplazar la función de pérdida minimax original $\log(1 - D(G(\bm{z})))$ para el generador?

Al comienzo del entrenamiento, cuando el generador produce muestras deficientes, el discriminador las clasifica fácilmente como falsas con alta confianza. Esto hace que $lo g (1 - D (G (z)))$ se sature, generando gradientes muy pequeños. Maximizar $lo g D (G (z))$ proporciona gradientes mucho más fuertes al principio, conservando el mismo punto fijo.

¿Cuál es el valor óptimo teórico del juego?

Cuando $G$ alcanza el óptimo global ( $p_{g} = p_{data}$ ), el discriminador óptimo predice $D^{*} (x) = \frac{1}{2}$ en todas partes, y la función de valor alcanza $- lo g 4$ .

¿Por qué eran ventajosas las GANs en comparación con modelos generativos contemporáneos como RBMs o GSNs?

No requieren cadenas de Markov para el muestreo, no requieren aproximaciones de funciones de partición intratables, evitan pasos de inferencia explícitos durante el entrenamiento y pueden entrenarse puramente mediante backpropagation con activaciones modernas como ReLUs y maxout.

¿Cuál fue la configuración del hiperparámetro para los pasos del discriminador $k$ en el artículo?

Los autores utilizaron $k = 1$ actualización del discriminador por cada actualización del generador en sus experimentos por ser la opción computacionalmente menos costosa.

La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.

Leer con traducción e IA