Auto-Encoding Variational Bayes

Leseleitfaden

Problem und Motivation

Gerichtete probabilistische Modelle mit kontinuierlichen latenten Variablen $\mathbf{z}$ sind nützlich für die generative Modellierung, das unüberwachte Repräsentationslernen und die marginale Inferenz. Das Lernen mittels Maximum Likelihood oder Bayes'schen Methoden stößt jedoch auf erhebliche rechnerische Hürden, wenn:

1. Analytisch unlösbare Posterioren (Posterior Intractability): Bei nichtlinearen Zusammenhängen (z. B. tiefen neuronalen Netzen) besitzen das Integral der marginalen Likelihood $p_{\mathbf{\theta }}(\mathbf{x})=\int p_{\mathbf{\theta }}(\mathbf{z})p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})d\mathbf{z}$ und der Posterior $p_{\mathbf{\theta }}(\mathbf{z}|\mathbf{x})$ keine geschlossenen analytischen Lösungen, was Standard-Expectation-Maximization (EM) und Mean-Field-Variations-Bayes unanwendbar macht.
2. Große Datensätze: Traditionelle Sampling-Ansätze wie Monte Carlo EM erfordern langsames, iteratives MCMC-Sampling für jeden einzelnen Datenpunkt des Datensatzes, wodurch eine skaliertes Mini-Batch-Optimierung unerschwinglich teuer wird.

Der standardmäßige, naive Score-Funktions-Gradientenschätzer ${\nabla }_{\mathbf{\varphi }}{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z})}[f(\mathbf{z})]$ weist eine extrem hohe Varianz auf, was eine verlässliche Optimierung mittels stochastischem Gradientenaufstieg verhindert.

Kernideen

• Reparameterization Trick: Anstatt $\mathbf{z}$ direkt aus einer unlösbaren parametrisierten Verteilung $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ zu ziehen, wird die Variable als deterministische Transformation einer unabhängigen Rauschvariable $\mathbf{ϵ}\sim p(\mathbf{ϵ})$ umformuliert: $\mathbf{z}=g_{\mathbf{\varphi }}(\mathbf{ϵ},\mathbf{x})$. Dies ermöglicht die Differenzierung nach $\mathbf{\varphi }$ über standardmäßige Backpropagation mit drastisch reduzierter Varianz.
• Amortisierte Inferenz (Recognition Model): Anstatt Variationsparameter pro Datenpunkt zu optimieren, sagt ein Encoder-Neuronales-Netz $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ die Variationsparameter (wie Mittelwert und Varianz einer latenten Gauß-Verteilung) konditioniert auf $\mathbf{x}$ voraus.
• Auto-Encoding Variational Bayes (AEVB): Optimiert generative Parameter $\mathbf{\theta }$ (probabilistischer Decoder) und Variationsparameter $\mathbf{\varphi }$ (probabilistischer Encoder) gemeinsam mittels stochastischem Gradientenaufstieg auf der reparametrisierten Variationsuntergrenze.

Methode

Das Variationsziel maximiert die Evidence Lower Bound (ELBO) $\mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})$: $$\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)})\ge \mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})=-D_{KL}(q_{\mathbf{\varphi }}(\mathbf{z}|{\mathbf{x}}^{(i)})\parallel p_{\mathbf{\theta }}(\mathbf{z}))+{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}|{\mathbf{x}}^{(i)})}\left[\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)}|\mathbf{z})\right]$$

Unter Anwendung des Reparameterization Trick ${\mathbf{z}}^{(i,l)}=g_{\mathbf{\varphi }}({\mathbf{ϵ}}^{(i,l)},{\mathbf{x}}^{(i)})$ mit ${\mathbf{ϵ}}^{(i,l)}\sim p(\mathbf{ϵ})$ lautet der generische SGVB-Schätzer (Schätzer A): $${\tilde{\mathcal{L}}}^A(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})=\frac{1}{L}\sum _{l=1}^L\left[\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i,l)})-\log q_{\mathbf{\varphi }}({\mathbf{z}}^{(i,l)}|{\mathbf{x}}^{(i)})\right]$$

Wenn die Prior-Verteilung $p_{\mathbf{\theta }}(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$ und der approximative Posterior $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})=\mathcal{N}(\mathbf{\mu },{\mathbf{\sigma }}^2\mathbf{I})$ gaußförmig sind, kann die KL-Divergenz analytisch berechnet werden, was zu Schätzer B führt: $$\mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})\simeq \frac{1}{2}\sum _{j=1}^J\left(1+\log (({\sigma }_j^{(i)}{)}^2)-({\mu }_j^{(i)}{)}^2-({\sigma }_j^{(i)}{)}^2\right)+\frac{1}{L}\sum _{l=1}^L\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i,l)})$$ wobei ${\mathbf{z}}^{(i,l)}={\mathbf{\mu }}^{(i)}+{\mathbf{\sigma }}^{(i)}\odot {\mathbf{ϵ}}^{(l)}$ und ${\mathbf{ϵ}}^{(l)}\sim \mathcal{N}(0,\mathbf{I})$.

Für Mini-Batches der Größe $M$ lautet der vollständige Schätzer der Untergrenze: $${\tilde{\mathcal{L}}}^M(\mathbf{\theta },\mathbf{\varphi };{\mathbf{X}}^M)=\frac{N}{M}\sum _{i=1}^M\tilde{\mathcal{L}}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})$$ In der Praxis genügt es, $L=1$ Stichprobe pro Datenpunkt zu setzen, wenn dies mit Mini-Batch-Größen wie $M=100$ kombiniert wird.

Ergebnisse

• Modell-Setups: Generative Modelle wurden auf MNIST (Bernoulli-MLP-Decoder, 500 versteckte Einheiten) und Frey Face (Gaußscher MLP-Decoder, 200 versteckte Einheiten) evaluiert und über Adagrad mit Lernraten in $\{0.01,0.02,0.1\}$ und Weight Decay optimiert.
• Optimierung der Untergrenze: Über verschiedene latente Dimensionalitäten hinweg ($N_{\mathbf{z}}\in \{2,5,10,20,400\}$ auf Frey Face und MNIST) konvergierte AEVB signifikant schneller und erreichte eine höhere Untergrenze als der Wake-Sleep-Algorithmus.
• Resistenz gegen Overfitting: Eine Erhöhung der Dimensionalität von $\mathbf{z}$ führte nicht zu Overfitting, was auf den regulierenden Effekt des analytischen KL-Divergenz-Terms gegenüber dem Prior zurückzuführen ist.
• Marginale Likelihood-Schätzung: In MNIST-Experimenten mit einem 3-dimensionalen latenten Raum unter Verwendung eines HMC-basierten marginalen Likelihood-Schätzers konvergierte AEVB schneller als Wake-Sleep und übertraf die Machbarkeit von Monte Carlo EM bei weitem (welches zu langsam war, um auf dem gesamten MNIST-Datensatz ausgeführt zu werden).
• Laufzeit: Das Training dauerte etwa 20–40 Minuten pro Million Stichproben auf einer Intel Xeon CPU (~40 GFLOPS).

Grenzen und offene Fragen

• Kontinuierliche latente Variablen: Der Reparameterization Trick beruht direkt auf der Differenzierbarkeit nach den Parametern, was die direkte Anwendung auf diskrete latente Variablenverteilungen erschwert.
• Approximationslücke: Die Annahme einer diagonalen Gauß-Verteilung für $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ schränkt die Ausdruckskraft ein, wenn der wahre Posterior multimodal oder stark gekoppelt ist.
• Erweiterung auf vollständiges Variational Bayes: Die empirische Evaluierung konzentrierte sich auf die MAP/ML-Parameterschätzung für $\mathbf{\theta }$; die Variationsinferenz über globale Parameter $\mathbf{\theta }$ wurde im Anhang formuliert, blieb jedoch zukünftiger empirischer Validierung überlassen.