Auto-Encoding Variational Bayes

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลความน่าจะเป็นแบบมีทิศทางที่มีตัวแปรแฝงแบบต่อเนื่อง $\mathbf{z}$ มีประโยชน์อย่างยิ่งสำหรับการสร้างโมเดลเชิงก่อกำเนิด (generative modeling), การเรียนรู้การแทนค่าแบบไม่มีผู้ดูแล (unsupervised representation learning) และการอนุมานเชิงขอบ (marginal inference) อย่างไรก็ตาม การเรียนรู้โมเดลเหล่านี้ผ่านวิธี maximum likelihood หรือวิธีแบบเบย์กลับเผชิญอุปสรรคทางคอมพิวเตอร์อย่างรุนแรงเมื่อ:

1. Posterior คำนวณไม่ได้ (Posterior intractability): สำหรับความสัมพันธ์แบบไม่เป็นเชิงเส้น (เช่น deep neural networks) อินทิกรัลของ marginal likelihood $p_{\mathbf{\theta }}(\mathbf{x})=\int p_{\mathbf{\theta }}(\mathbf{z})p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})d\mathbf{z}$ และ posterior $p_{\mathbf{\theta }}(\mathbf{z}|\mathbf{x})$ จะไม่มีผลเฉลยในรูปแบบปิด (closed-form) ทำให้ไม่สามารถประยุกต์ใช้วิธี Expectation-Maximization (EM) แบบมาตรฐานและ mean-field variational Bayes ได้
2. ชุดข้อมูลขนาดใหญ่: แนวทางการสุ่มตัวอย่างแบบดั้งเดิม เช่น Monte Carlo EM จำเป็นต้องใช้การสุ่มตัวอย่างแบบ MCMC ซ้ำๆ ที่ช้าต่อจุดข้อมูลแต่ละจุดทั่วทั้งชุดข้อมูล ทำให้การหาค่าเหมาะที่สุดด้วยมินิแบทช์ขนาดใหญ่มีต้นทุนการคำนวณที่สูงเกินไป

ตัวประมาณค่าความชันแบบ score-function แบบดั้งเดิมทั่วไป ${\nabla }_{\mathbf{\varphi }}{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z})}[f(\mathbf{z})]$ มีค่าความแปรปรวนที่สูงมาก ส่งผลให้ไม่สามารถหาค่าที่เหมาะสมที่สุดด้วย stochastic gradient ascent ได้อย่างเสถียร

แนวคิดหลัก

• Reparameterization Trick: แทนที่จะสุ่ม $\mathbf{z}$ โดยตรงจากการแจกแจงที่มีพารามิเตอร์แต่คำนวณยาก $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ ตัวแปรนี้จะถูกเขียนใหม่ในรูปการแปลงแบบดีเทอร์มินิสติกของตัวแปรสัญญาณรบกวนอิสระ $\mathbf{ϵ}\sim p(\mathbf{ϵ})$: $\mathbf{z}=g_{\mathbf{\varphi }}(\mathbf{ϵ},\mathbf{x})$ ซึ่งช่วยให้สามารถหาอนุพันธ์เทียบกับ $\mathbf{\varphi }$ ผ่าน backpropagation มาตรฐานได้ด้วยความแปรปรวนที่ลดลงอย่างมหาศาล
• Amortized Inference (Recognition Model): แทนที่จะหาค่าพารามิเตอร์เชิงแปรผันที่เหมาะสมที่สุดแยกตามแต่ละจุดข้อมูล โครงข่ายประสาท encoder $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ จะทำหน้าที่ทำนายพารามิเตอร์เชิงแปรผัน (เช่น ค่าเฉลี่ยและความแปรปรวนของการแจกแจงแบบเกาส์เซียนแฝง) โดยมีเงื่อนไขตาม $\mathbf{x}$
• Auto-Encoding Variational Bayes (AEVB): หาค่าที่เหมาะสมที่สุดร่วมกันระหว่าง generative parameters $\mathbf{\theta }$ (decoder เชิงความน่าจะเป็น) และ variational parameters $\mathbf{\varphi }$ (encoder เชิงความน่าจะเป็น) โดยใช้ stochastic gradient ascent บนขอบเขตล่างเชิงแปรผันที่ผ่านการแปลงพารามิเตอร์ใหม่แล้ว

วิธีการ

เป้าหมายเชิงแปรผันคือการหาค่าสูงสุดของ Evidence Lower Bound (ELBO) $\mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})$: $$\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)})\ge \mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})=-D_{KL}(q_{\mathbf{\varphi }}(\mathbf{z}|{\mathbf{x}}^{(i)})\parallel p_{\mathbf{\theta }}(\mathbf{z}))+{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}|{\mathbf{x}}^{(i)})}\left[\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)}|\mathbf{z})\right]$$

เมื่อประยุกต์ใช้ reparameterization trick ${\mathbf{z}}^{(i,l)}=g_{\mathbf{\varphi }}({\mathbf{ϵ}}^{(i,l)},{\mathbf{x}}^{(i)})$ โดยที่ ${\mathbf{ϵ}}^{(i,l)}\sim p(\mathbf{ϵ})$ ตัวประมาณค่า SGVB ทั่วไป (Estimator A) คือ: $${\tilde{\mathcal{L}}}^A(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})=\frac{1}{L}\sum _{l=1}^L\left[\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i,l)})-\log q_{\mathbf{\varphi }}({\mathbf{z}}^{(i,l)}|{\mathbf{x}}^{(i)})\right]$$

เมื่อไพรออร์ $p_{\mathbf{\theta }}(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$ และ posterior โดยประมาณ $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})=\mathcal{N}(\mathbf{\mu },{\mathbf{\sigma }}^2\mathbf{I})$ เป็นแบบเกาส์เซียน ค่า KL divergence จะสามารถคำนวณในรูปแบบปิดทางคณิตศาสตร์ได้ ทำให้ได้ Estimator B: $$\mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})\simeq \frac{1}{2}\sum _{j=1}^J\left(1+\log (({\sigma }_j^{(i)}{)}^2)-({\mu }_j^{(i)}{)}^2-({\sigma }_j^{(i)}{)}^2\right)+\frac{1}{L}\sum _{l=1}^L\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i,l)})$$ โดยที่ ${\mathbf{z}}^{(i,l)}={\mathbf{\mu }}^{(i)}+{\mathbf{\sigma }}^{(i)}\odot {\mathbf{ϵ}}^{(l)}$ และ ${\mathbf{ϵ}}^{(l)}\sim \mathcal{N}(0,\mathbf{I})$

สำหรับมินิแบทช์ขนาด $M$ ตัวประมาณค่าขอบเขตล่างฉบับสมบูรณ์คือ: $${\tilde{\mathcal{L}}}^M(\mathbf{\theta },\mathbf{\varphi };{\mathbf{X}}^M)=\frac{N}{M}\sum _{i=1}^M\tilde{\mathcal{L}}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})$$ ในทางปฏิบัติ การกำหนดให้สุ่มตัวอย่าง $L=1$ ตัวอย่างต่อหนึ่งจุดข้อมูลก็เพียงพอแล้วเมื่อใช้ร่วมกับขนาดมินิแบทช์ เช่น $M=100$

ผลการทดลอง

• การตั้งค่าโมเดล: มีการประเมินโมเดลเชิงก่อกำเนิดบน MNIST (Bernoulli MLP decoder, 500 hidden units) และ Frey Face (Gaussian MLP decoder, 200 hidden units) หาค่าเหมาะที่สุดผ่าน Adagrad โดยมีอัตราการเรียนรู้ใน $\{0.01,0.02,0.1\}$ และ weight decay
• การหาค่าเหมาะที่สุดของขอบเขตล่าง: ในหลายมิติของตัวแปรแฝง ($N_{\mathbf{z}}\in \{2,5,10,20,400\}$ บน Frey Face และ MNIST) AEVB ลู่เข้าได้เร็วกว่าอย่างมีนัยสำคัญ และได้ขอบเขตล่างที่สูงกว่าอัลกอริทึม wake-sleep
• ความทนทานต่อการ Overfitting: การเพิ่มมิติของ $\mathbf{z}$ ไม่ทำให้เกิด overfitting เนื่องจากผลของการควบคุมระเบียบ (regularizing effect) จากพจน์ KL divergence เชิงวิเคราะห์ที่ดึงเข้าหาไพรออร์
• การประมาณ Marginal Likelihood: ในการทดลองกับ MNIST ที่มีมิติแฝง 3 มิติโดยใช้ตัวประมาณค่า marginal likelihood แบบอิง HMC พบว่า AEVB ลู่เข้าเร็วกว่า wake-sleep และก้าวข้ามข้อจำกัดด้านความเป็นไปได้ของ Monte Carlo EM อย่างมาก (ซึ่งช้าเกินกว่าจะรันบนชุดข้อมูล MNIST แบบเต็มได้)
• ระยะเวลาการประมวลผล: การเทรนใช้เวลาประมาณ 20–40 นาทีต่อหนึ่งล้านตัวอย่างบนซีพียู Intel Xeon (~40 GFLOPS)

ข้อจำกัดและคำถามปลายเปิด

• ตัวแปรแฝงแบบต่อเนื่อง: Reparameterization trick พึ่งพาความสามารถในการหาอนุพันธ์เทียบกับพารามิเตอร์โดยตรง ทำให้การนำไปปรับใช้กับตัวแปรแฝงแบบไม่ต่อเนื่อง (discrete latent variables) โดยตรงไม่ใช่เรื่องง่าย
• ช่องว่างของการประมาณค่า (Approximation Gap): การสมมติการแจกแจงแบบ diagonal Gaussian สำหรับ $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ จำกัดขีดความสามารถในการแสดงออกของโมเดลเมื่อ posterior ที่แท้จริงมีหลายยอด (multimodal) หรือมีความสัมพันธ์เกี่ยวเนื่องกันอย่างแน่นแฟ้น
• การขยายสู่ Full Variational Bayes: การประเมินผลเชิงประจักษ์เน้นไปที่การประมาณค่าพารามิเตอร์ $\mathbf{\theta }$ แบบ MAP/ML โดยการอนุมานเชิงแปรผันเหนือพารามิเตอร์ระดับโกลบอล $\mathbf{\theta }$ ได้ถูกเขียนสูตรไว้ในภาคผนวก แต่ยังคงเว้นไว้สำหรับการพิสูจน์เชิงประจักษ์ในอนาคต