Auto-Encoding Variational Bayes

دليل القراءة

المشكلة والدافع

تُعد النماذج الاحتمالية الموجهة ذات المتغيرات الكامنة المستمرة $\mathbf{z}$ مفيدة للنمذجة التوليدية، وتعلم التمثيلات غير الخاضع للإشراف، والاستدلال الهامشي. ومع ذلك، يواجه تعلمها عبر طريقة الإمكان الأكبر أو الطرق البايزية عقبات حسابية شديدة عندما:

1. استعصاء التوزيع اللاحق: في العلاقات غير الخطية (مثل الشبكات العصبية العميقة)، يفتقر تكامل الإمكان الهامشي $p_{\mathbf{\theta }}(\mathbf{x})=\int p_{\mathbf{\theta }}(\mathbf{z})p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})d\mathbf{z}$ والتوزيع اللاحق $p_{\mathbf{\theta }}(\mathbf{z}|\mathbf{x})$ إلى حلول تحليلية مغلقة، مما يجعل خوارزمية تعظيم التوقع القياسية (EM) والاستدلال التبايني للمجال المتوسط (mean-field variational Bayes) غير قابلين للتطبيق.
2. مجموعات البيانات الكبيرة: تتطلب طرق المعاينة التقليدية مثل Monte Carlo EM معاينة بطيئة وتكرارية بطريقة MCMC لكل نقطة بيانات عبر مجموعة البيانات بأكملها، مما يجعل التحسين باستخدام الحزم الصغيرة (mini-batches) على نطاق واسع مكلفاً للغاية.

يُظهر مقدّر تدرج دالة الدرجة البسيط القياسي ${\nabla }_{\mathbf{\varphi }}{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z})}[f(\mathbf{z})]$ تبايناً مرتفعاً للغاية، مما يمنع التحسين الموثوق به باستخدام الصعود التدريجي التصادفي.

الأفكار الرئيسية

• حيلة إعادة التوصيف (Reparameterization Trick): بدلاً من سحب عينات $\mathbf{z}$ مباشرة من توزيع محدد بمعلمات مستعصٍ $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$، يُعاد كتابة المتغير كتحويل حتمي لمتغير ضوضاء مستقل $\mathbf{ϵ}\sim p(\mathbf{ϵ})$: $\mathbf{z}=g_{\mathbf{\varphi }}(\mathbf{ϵ},\mathbf{x})$. يتيح ذلك التفاضل بالنسبة إلى $\mathbf{\varphi }$ عبر الانتشار الخلفي القياسي بتباين منخفض بشكل كبير.
• الاستدلال المستهلك (نموذج التعرف) (Amortized Inference): بدلاً من تحسين المعلمات التباينية لكل نقطة بيانات على حدة، تتنبأ شبكة عصبية مشفرة $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ بالمعلمات التباينية (مثل المتوسط والتباين لتوزيع غاوسي كامن) شرطياً بالاعتماد على $\mathbf{x}$.
• الترميز التلقائي البايزي التبايني (Auto-Encoding Variational Bayes - AEVB): تحسين مشترك للمعلمات التوليدية $\mathbf{\theta }$ (مفكك الترميز الاحتمالي) والمعلمات التباينية $\mathbf{\varphi }$ (المشفر الاحتمالي) باستخدام الصعود التدريجي التصادفي على الحد الأدنى التبايني المعاد توصيفه.

الطريقة

الهدف التبايني هو تعظيم الحد الأدنى لدليل البيانات (Evidence Lower Bound - ELBO) $\mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})$: $$\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)})\ge \mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})=-D_{KL}(q_{\mathbf{\varphi }}(\mathbf{z}|{\mathbf{x}}^{(i)})\parallel p_{\mathbf{\theta }}(\mathbf{z}))+{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}|{\mathbf{x}}^{(i)})}\left[\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)}|\mathbf{z})\right]$$

بتطبيق حيلة إعادة التوصيف ${\mathbf{z}}^{(i,l)}=g_{\mathbf{\varphi }}({\mathbf{ϵ}}^{(i,l)},{\mathbf{x}}^{(i)})$ مع ${\mathbf{ϵ}}^{(i,l)}\sim p(\mathbf{ϵ})$، يكون مقدّر SGVB العام (المقدّر A) هو: $${\tilde{\mathcal{L}}}^A(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})=\frac{1}{L}\sum _{l=1}^L\left[\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i,l)})-\log q_{\mathbf{\varphi }}({\mathbf{z}}^{(i,l)}|{\mathbf{x}}^{(i)})\right]$$

عندما يكون التوزيع السابق $p_{\mathbf{\theta }}(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$ والتوزيع اللاحق التقريبي $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})=\mathcal{N}(\mathbf{\mu },{\mathbf{\sigma }}^2\mathbf{I})$ توزيعين غاوسيين، يمكن حساب تباعد كولباك-ليبلير (KL divergence) تحليلياً، مما ينتج عنه المقدّر B: $$\mathcal{L}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})\simeq \frac{1}{2}\sum _{j=1}^J\left(1+\log (({\sigma }_j^{(i)}{)}^2)-({\mu }_j^{(i)}{)}^2-({\sigma }_j^{(i)}{)}^2\right)+\frac{1}{L}\sum _{l=1}^L\log p_{\mathbf{\theta }}({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i,l)})$$ حيث ${\mathbf{z}}^{(i,l)}={\mathbf{\mu }}^{(i)}+{\mathbf{\sigma }}^{(i)}\odot {\mathbf{ϵ}}^{(l)}$ و ${\mathbf{ϵ}}^{(l)}\sim \mathcal{N}(0,\mathbf{I})$.

بالنسبة للحزم الصغيرة ذات الحجم $M$، يكون مقدّر الحد الأدنى الكامل: $${\tilde{\mathcal{L}}}^M(\mathbf{\theta },\mathbf{\varphi };{\mathbf{X}}^M)=\frac{N}{M}\sum _{i=1}^M\tilde{\mathcal{L}}(\mathbf{\theta },\mathbf{\varphi };{\mathbf{x}}^{(i)})$$ من الناحية العملية، يكفي تعيين $L=1$ عينة لكل نقطة بيانات عند اقترانها بأحجام حزم صغيرة مثل $M=100$.

النتائج

• إعدادات النماذج: قُيمت النماذج التوليدية على MNIST (مفكك ترميز MLP بتوزيع برنولي، 500 وحدة خفية) وFrey Face (مفكك ترميز MLP غاوسي، 200 وحدة خفية)، مع التحسين عبر Adagrad بمعدلات تعلم ضمن $\{0.01,0.02,0.1\}$ واضمحلال الأوزان (weight decay).
• تحسين الحد الأدنى: عبر أبعاد كامنة متنوعة ($N_{\mathbf{z}}\in \{2,5,10,20,400\}$ على Frey Face وMNIST)، تقاربت خوارزمية AEVB بشكل أسرع بكثير وحققت حداً أدنى أعلى مقارنة بخوارزمية wake-sleep.
• مقاومة فرط المطابقة: لم تؤدِ زيادة أبعاد $\mathbf{z}$ إلى فرط المطابقة بفضل التأثير التنظيمي لحد تباعد KL التحليلي باتجاه التوزيع السابق.
• تقدير الإمكان الهامشي: في تجارب MNIST في فضاء كامن ثلاثي الأبعاد باستخدام مقدّر إمكان هامشي قائم على HMC، تقاربت AEVB أسرع من wake-sleep وتجاوزت بمراحل الجدوى العملية لـ Monte Carlo EM (التي كانت بطيئة جداً بحيث تعذر تشغيلها على مجموعة بيانات MNIST الكاملة).
• زمن التشغيل: استغرق التدريب حوالي 20-40 دقيقة لكل مليون عينة على معالج Intel Xeon (~40 GFLOPS).

القيود والأسئلة المفتوحة

• المتغيرات الكامنة المستمرة: تعتمد حيلة إعادة التوصيف اعتماداً مباشراً على قابلية الاشتقاق بالنسبة إلى المعلمات، مما يجعل تطبيقها المباشر على توزيعات المتغيرات الكامنة المنفصلة غير يسير.
• فجوة التقريب: يؤدي افتراض توزيع غاوسي قطري لـ $q_{\mathbf{\varphi }}(\mathbf{z}|\mathbf{x})$ إلى الحد من القدرة التعبيرية عندما يكون التوزيع اللاحق الحقيقي متعدد الأنماط أو شديد الترابط.
• التوسع إلى الاستدلال التبايني الكامل: ركز التقييم التجريبي على تقدير معلمات $\mathbf{\theta }$ بطريقتي MAP/ML؛ وقد صيغ الاستدلال التبايني على المعلمات الكلية $\mathbf{\theta }$ في الملحق ولكنه تُرك للتحقق التجريبي المستقبلي.