Auto-Encoding Variational Bayes

Diederik P Kingma; Max Welling

Articles · arXiv 1312.6114

Auto-Encoding Variational Bayes

Diederik P Kingma, Max Welling

Publié le 2013-12-20stat.MLcs.LG arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Réaliser une inférence a posteriori et un apprentissage des paramètres efficaces sur de grands jeux de données pour des modèles probabilistes dirigés avec variables latentes continues et a posteriori intraitables.
🔧 Formule l'estimateur Stochastic Gradient Variational Bayes (SGVB) via une astuce de reparamétrisation (exprimant les variables latentes comme des fonctions déterministes d'un bruit auxiliaire) et entraîne un modèle de reconnaissance neuronal amorti (variational auto-encoder).
📈 Surpasse l'algorithme wake-sleep et Monte Carlo EM en termes d'optimisation de la borne inférieure et de vitesse de convergence, s'entraînant avec succès sur de petits mini-lots ( $M = 100$ ) et seulement $L = 1$ échantillon par point de données.

Résumé

Comment effectuer une inférence et un apprentissage efficaces dans des modèles probabilistes dirigés, en présence de variables latentes continues aux distributions a posteriori intraitables, et de grands jeux de données ? Nous introduisons un algorithme stochastique d'inférence et d'apprentissage variationnels qui s'adapte aux grands jeux de données et, sous de légères conditions de différentiabilité, fonctionne même dans le cas intraitable. Nos contributions sont doubles. Tout d'abord, nous montrons qu'une reparamétrisation de la borne inférieure variationnelle produit un estimateur de cette borne pouvant être directement optimisé à l'aide de méthodes standard de gradient stochastique. Ensuite, nous démontrons que pour des jeux de données i.i.d. comportant des variables latentes continues par point de données, l'inférence a posteriori peut être rendue particulièrement efficace en ajustant un modèle d'inférence approximative (également appelé modèle de reconnaissance) à l'a posteriori intraitable grâce à l'estimateur de borne inférieure proposé. Les avantages théoriques se reflètent dans les résultats expérimentaux.

Résumé original (anglais)

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning algorithm that scales to large datasets and, under some mild differentiability conditions, even works in the intractable case. Our contributions are two-fold. First, we show that a reparameterization of the variational lower bound yields a lower bound estimator that can be straightforwardly optimized using standard stochastic gradient methods. Second, we show that for i.i.d. datasets with continuous latent variables per datapoint, posterior inference can be made especially efficient by fitting an approximate inference model (also called a recognition model) to the intractable posterior using the proposed lower bound estimator. Theoretical advantages are reflected in experimental results.

Guide de lecture

Problème et motivation

Les modèles probabilistes dirigés avec variables latentes continues $z$ sont utiles pour la modélisation générative, l'apprentissage de représentations non supervisé et l'inférence marginale. Cependant, leur apprentissage par le maximum de vraisemblance ou par des méthodes bayésiennes se heurte à des obstacles de calcul majeurs lorsque :

Intraitabilité de l'a posteriori : Pour les relations non linéaires (ex. réseaux de neurones profonds), l'intégrale de la vraisemblance marginale $p_{θ} (x) = \int p_{θ} (z) p_{θ} (x ∣ z) d z$ et l'a posteriori $p_{θ} (z ∣ x)$ ne possèdent pas de solution analytique fermée, rendant l'algorithme Espérance-Maximisation (EM) standard et le mean-field variational Bayes inapplicables.
Grands jeux de données : Les approches traditionnelles par échantillonnage telles que Monte Carlo EM nécessitent un échantillonnage MCMC lent et itératif pour chaque point de données sur l'ensemble du jeu de données, ce qui rend l'optimisation par mini-lots à grande échelle prohibitivement coûteuse.

L'estimateur de gradient naïf par fonction de score $\nabla_{ϕ} E_{q_{ϕ} (z)} [f (z)]$ présente une variance excessivement élevée, empêchant toute optimisation fiable par ascension de gradient stochastique.

Idées maîtresses

Astuce de reparamétrisation (Reparameterization Trick) : Au lieu d'échantillonner $z$ directement depuis une distribution paramétrée intraitable $q_{ϕ} (z ∣ x)$ , la variable est réécrite comme une transformation déterministe d'une variable de bruit indépendante $ϵ \sim p (ϵ)$ : $z = g_{ϕ} (ϵ, x)$ . Cela permet la différentiation par rapport à $ϕ$ par rétropropagation standard avec une variance considérablement réduite.
Inférence amortie (Modèle de reconnaissance) : Plutôt que d'optimiser les paramètres variationnels pour chaque point de données individuel, un réseau de neurones encodeur $q_{ϕ} (z ∣ x)$ prédit les paramètres variationnels (comme la moyenne et la variance d'une gaussienne latente) conditionnés sur $x$ .
Auto-Encoding Variational Bayes (AEVB) : Optimise conjointement les paramètres génératifs $θ$ (décodeur probabiliste) et les paramètres variationnels $ϕ$ (encodeur probabiliste) par ascension de gradient stochastique sur la borne inférieure variationnelle reparamétrée.

Méthode

L'objectif variationnel maximise la borne inférieure de l'évidence (Evidence Lower Bound ou ELBO) $L (θ, ϕ; x^{(i)})$ : $lo g p_{θ} (x^{(i)}) \geq L (θ, ϕ; x^{(i)}) = - D_{K L} (q_{ϕ} (z ∣ x^{(i)}) ∥ p_{θ} (z)) + E_{q_{ϕ} (z ∣ x^{(i)})} [lo g p_{θ} (x^{(i)} ∣ z)]$

En appliquant l'astuce de reparamétrisation $z^{(i, l)} = g_{ϕ} (ϵ^{(i, l)}, x^{(i)})$ avec $ϵ^{(i, l)} \sim p (ϵ)$ , l'estimateur SGVB générique (Estimateur A) s'écrit : $L^{A} (θ, ϕ; x^{(i)}) = \frac{1}{L} l = 1 \sum L [lo g p_{θ} (x^{(i)}, z^{(i, l)}) - lo g q_{ϕ} (z^{(i, l)} ∣ x^{(i)})]$

Lorsque l'a priori $p_{θ} (z) = N (0, I)$ et l'a posteriori approché $q_{ϕ} (z ∣ x) = N (μ, σ^{2} I)$ sont gaussiens, la divergence KL peut être calculée analytiquement, produisant l'Estimateur B : $L (θ, ϕ; x^{(i)}) ≃ \frac{1}{2} j = 1 \sum J (1 + lo g ((σ_{j}^{(i)})^{2}) - (μ_{j}^{(i)})^{2} - (σ_{j}^{(i)})^{2}) + \frac{1}{L} l = 1 \sum L lo g p_{θ} (x^{(i)} ∣ z^{(i, l)})$ où $z^{(i, l)} = μ^{(i)} + σ^{(i)} ⊙ ϵ^{(l)}$ et $ϵ^{(l)} \sim N (0, I)$ .

Pour des mini-lots de taille $M$ , l'estimateur global de la borne inférieure est : $L^{M} (θ, ϕ; X^{M}) = \frac{N}{M} i = 1 \sum M L (θ, ϕ; x^{(i)})$ En pratique, définir $L = 1$ échantillon par point de données suffit lorsqu'on utilise des mini-lots de taille telle que $M = 100$ .

Résultats

Configurations des modèles : Les modèles génératifs ont été évalués sur MNIST (décodeur MLP Bernoulli, 500 unités cachées) et Frey Face (décodeur MLP gaussien, 200 unités cachées), optimisés via Adagrad avec des taux d'apprentissage dans ${0.01, 0.02, 0.1}$ et de la régularisation L2 (weight decay).
Optimisation de la borne inférieure : À travers différentes dimensions de l'espace latent ( $N_{z} \in {2, 5, 10, 20, 400}$ sur Frey Face et MNIST), AEVB a convergé nettement plus vite et a atteint une borne inférieure plus élevée que l'algorithme wake-sleep.
Résistance au surapprentissage : L'augmentation de la dimensionnalité de $z$ n'a pas provoqué de surapprentissage, grâce à l'effet régulateur du terme analytique de divergence KL envers l'a priori.
Estimation de la vraisemblance marginale : Lors d'expériences sur MNIST avec un espace latent tridimensionnel utilisant un estimateur de vraisemblance marginale basé sur HMC, AEVB a convergé plus rapidement que wake-sleep et a largement dépassé la faisabilité de Monte Carlo EM (qui était trop lent pour être exécuté sur l'ensemble de MNIST).
Temps d'exécution : L'entraînement a nécessité environ 20 à 40 minutes par million d'échantillons sur un processeur Intel Xeon (~40 GFLOPS).

Limites et questions ouvertes

Variables latentes continues : L'astuce de reparamétrisation repose directement sur la différentiabilité par rapport aux paramètres, ce qui la rend difficile à appliquer directement aux distributions de variables latentes discrètes.
Écart d'approximation : Supposer une distribution gaussienne diagonale pour $q_{ϕ} (z ∣ x)$ limite la capacité d'expression lorsque le véritable a posteriori est multimodal ou fortement corrélé.
Extension au Full Variational Bayes : L'évaluation empirique s'est concentrée sur l'estimation MAP/ML des paramètres $θ$ ; l'inférence variationnelle sur les paramètres globaux $θ$ a été formulée en annexe mais laissée pour de futures validations empiriques.

Termes clés

SGVB (Stochastic Gradient Variational Bayes): Un estimateur de Monte Carlo différentiable et à faible variance de la borne inférieure variationnelle, obtenu par reparamétrisation des variables latentes continues.
AEVB (Auto-Encoding Variational Bayes): Un algorithme qui entraîne conjointement un modèle génératif (décodeur) et un modèle de reconnaissance (encodeur) à l'aide de SGVB sur des mini-lots.
Reparameterization Trick (astuce de reparamétrisation): Une technique consistant à exprimer une variable aléatoire sous la forme d'une fonction déterministe et différentiable des paramètres, des données d'entrée et d'une distribution de bruit indépendante.
Recognition Model (modèle de reconnaissance): Un réseau de neurones (encodeur probabiliste) paramétré par $ϕ$ qui prédit la distribution des variables latentes $z$ étant donné les données observées $x$ .
Variational Auto-Encoder (VAE): L'architecture instanciée lorsque des réseaux de neurones sont utilisés comme encodeur et décodeur au sein du cadre AEVB.
Variational Lower Bound (ELBO): Une fonction objectif calculable minorant la log-vraisemblance marginale, composée de la log-vraisemblance de reconstruction et d'une pénalité de divergence KL par rapport à l'a priori.
Wake-Sleep Algorithm: Un autre algorithme d'apprentissage qui optimise des objectifs de reconnaissance et de génération séparés, sans garantir l'optimisation d'une borne unique de vraisemblance marginale.

Questions

Pourquoi l'estimateur par fonction de score (REINFORCE) est-il remplacé ?

L'estimateur de gradient de Monte Carlo naïf par fonction de score $E_{q_{ϕ}} [f (z) \nabla_{ϕ} lo g q_{ϕ} (z)]$ souffre d'une variance excessivement élevée, rendant l'optimisation par ascension de gradient stochastique impraticable sans variables de contrôle complexes.

Combien d'échantillons de Monte Carlo $L$ sont nécessaires pendant l'entraînement ?

Les auteurs ont constaté empiriquement que $L = 1$ échantillon par point de données suffit pour une convergence stable, à condition que la taille du mini-lot soit modérément grande (ex. $M = 100$ ).

Quelles distributions sont compatibles avec l'astuce de reparamétrisation ?

Les distributions dotées d'une fonction de répartition inverse calculable (ex. Cauchy, Gumbel), les familles à position et échelle (ex. Gaussienne, Student, Laplace) et les compositions de variables continues plus simples (ex. Log-Normale, Gamma, Bêta).

Comment AEVB évite-t-il le surapprentissage lorsque la dimension de l'espace latent augmente ?

Le terme de divergence KL $- D_{K L} (q_{ϕ} (z ∣ x) ∥ p_{θ} (z))$ agit comme un régularisateur naturel en pénalisant les dimensions latentes de l'a posteriori qui s'écartent de l'a priori, ce qui ramène efficacement les canaux latents non informatifs vers l'a priori gaussien standard.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA