Adam: طريقة للتحسين العشوائي

دليل القراءة

المشكلة والدافع

يُعد التحسين العشوائي من الدرجة الأولى العمود الفقري للتعلم الآلي الحديث. ومع ذلك، يطبق الانحدار التدريجي العشوائي (SGD) القياسي حجم خطوة موحدًا على جميع الإحداثيات، مما يجعله حساسًا لمقياس التدرج، والتقوس الرديء، والضجيج العشوائي. ورغم أن AdaGrad يكيف أحجام خطوات الإحداثيات باستخدام مربعات التدرجات التاريخية، إلا أن معدل التعلم فيه يتلاشى بسرعة إلى الصفر في البنى العميقة. يعالج RMSProp وAdaDelta هذا التلاشي باستخدام المتوسطات المتحركة الأسية، لكن RMSProp يفتقر إلى الضمانات النظرية في البيئات غير المستقرة، ولا يراعي أي منهما انحياز التهيئة عندما تبدأ المتوسطات المتحركة من الصفر.

يهدف المؤلفون إلى الجمع بين مزايا نموذجين: AdaGrad/RMSProp (التكيف مع التدرجات المتفرقة وذات المقاييس المختلفة) والزخم التقليدي (Momentum) (تسريع التقارب عبر الاتجاهات المسطحة وتنعيم الضجيج).

الأفكار الرئيسية

• تقدير العزمين الأول والثاني: يحافظ Adam على متوسطات متحركة أسية مستمرة لكل من التدرج (العزم الخام الأول $m_t$) ومربع التدرج (العزم الثاني غير الممركز $v_t$).
• تصحيح الانحياز: نظرًا لتهيئة $m_t$ و$v_t$ كمتجهات صفرية، فإن متوسطاتها المتحركة القياسية تكون منحازة نحو الصفر—خاصة في التكرارات الأولى أو عندما تكون معدلات التلاشي (${\beta }_1,{\beta }_2$) قريبة من 1. يصحح Adam هذا الانحياز تحليليًا بالقسمة على $(1-{\beta }_1^t)$ و$(1-{\beta }_2^t)$.
• عدم التأثر بإعادة قياس التدرج: يتناسب اتجاه التحديث الفعلي تقريبًا مع نسبة الإشارة إلى الضجيج ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$، مما يوفر تقييدًا طبيعيًا لحجم الخطوة وثباتًا أمام القياس القطري للتدرجات.
• AdaMax: يؤدي تعميم تتبع معيار $L_2$ للتدرجات في $v_t$ إلى معيار $L_{\infty }$ إلى إنتاج AdaMax، وهو متغير مستقر عدديًا يستغني عن تصحيح انحياز العزم الثاني.

الطريقة (مع المعادلات الرئيسية)

في الخطوة الزمنية $t$، وبمعلومية دالة الهدف $f_t(\theta )$، والتدرج $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$، وحجم الخطوة $\alpha$، ومعدلات التلاشي الأسي ${\beta }_1,{\beta }_2\in [0,1)$، وثابت صغير $ϵ$:

1. تحديث تقدير العزم الأول المنحاز: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. تحديث تقدير العزم الخام الثاني المنحاز: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. حساب تقديرات العزوم المصححة من الانحياز: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. تحديث المعلمات: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

المعلمات الفائقة الافتراضية الموصى بها في الورقة هي $\alpha =0.001$، و${\beta }_1=0.9$، و${\beta }_2=0.999$، و$ϵ=10^{-8}$.

النتائج (مع أهم الأرقام)

• التقارب النظري: في إطار التحسين المحدب عبر الإنترنت مع تدرجات محدودة ومجال معلمات محدود $D$، يحقق Adam حد أسف نظريًا قدره $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$، مما ينتج معدل أسف متوسطًا يبلغ $O(1/\sqrt{T})$.
• الانحدار اللوجستي وبيرسبترون متعدد الطبقات: في تصنيف MNIST، حقق Adam تقاربًا أسرع من AdaGrad وRMSProp وSGD مع زخم Nesterov عبر بنى مختلفة، مُظهرًا حساسية ضئيلة لاضطرابات المعلمات الفائقة.
• الشبكات العصبية الالتفافية: عند التقييم على CIFAR-10 باستخدام CNN متعدد الطبقات (مع الإسقاط dropout والتجميع pooling)، أظهر Adam انخفاضًا أسرع في خسارة التدريب ووصل إلى خسارة نهائية أقل مقارنة بـ RMSProp وAdaDelta.

القيود والأسئلة المفتوحة

• النظرية المحدبة مقابل غير المحدبة: تفترض حدود الأسف النظرية دوالاً محدبة؛ ولم يكن سلوك التقارب النظري على أهداف التعلم العميق غير المحدبة مضمونًا بشكل رسمي.
• عيوب نظرية لاحقة: أثبتت أبحاث لاحقة (مثل Reddi et al., 2018) أن برهان تقارب Adam تضمن خللاً حيث لا تكون ${\Gamma }_{t+1}-{\Gamma }_t$ بالضرورة شبه موجبة محددة، مما يؤدي أحيانًا إلى تباعد تجريبي (وهو ما دفع لابتكار متغيرات مثل AMSGrad).
• فجوة التعميم: أشارت الدراسات التجريبية التي أعقبت هذه الورقة إلى أنه على الرغم من أن Adam يتدرب بشكل أسرع في البداية، إلا أن SGD مع الزخم المضبوط بعناية غالبًا ما يجد حلولاً تعمم بشكل أفضل قليلاً في بعض مهام تصنيف الصور.