Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe; Christian Szegedy

الأوراق البحثية · arXiv 1502.03167

Batch Normalization: تسريع تدريب الشبكات العميقة عن طريق تقليل Internal Covariate Shift

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe, Christian Szegedy

تاريخ النشر 2015-02-11cs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 يتباطأ تدريب الشبكات العميقة بسبب internal covariate shift—وهو التغير المستمر في توزيعات مدخلات الطبقات الناتج عن تحديث معلمات الطبقات السابقة.
🔧 تقديم Batch Normalization (BN)، وهي طبقة معمارية توحد تنشيطات الحزم المصغرة إلى متوسط صفري وتباين أحادي، يلي ذلك تحجيم وإزاحة تآلفيان يتم تعلمهما (γ وβ).
📈 تحقيق نفس دقة التحقق (72.2%) لنموذج Inception المرجعي بخطوات أقل بـ 14 ضعفاً، والوصول إلى خطأ 4.82% top-5 على بيانات اختبار ImageNet عبر نموذج مدمج (ensemble).

الملخص

يتعقد تدريب الشبكات العصبية العميقة نتيجة لتغير توزيع مدخلات كل طبقة أثناء التدريب مع تغير معلمات الطبقات السابقة. يؤدي هذا إلى إبطاء التدريب عبر اشتراط معدلات تعلم منخفضة وتهيئة دقيقة للغاية للمعلمات، كما يجعل تدريب النماذج ذات دوال التنشيط غير الخطية المشبعة أمراً بالغ الصعوبة. نطلق على هذه الظاهرة اسم internal covariate shift، ونعالج هذه المشكلة عن طريق تقييس مدخلات الطبقات. تكتسب طريقتنا قوتها من جعل التقييس جزءاً أصيلاً من بنية النموذج وإجرائه لكل حزمة تدريب مصغرة (mini-batch). تتيح لنا تقنية Batch Normalization استخدام معدلات تعلم أعلى بكثير وتقليل الحذر المطلوب عند تهيئة المعلمات. كما أنها تعمل كمنظم (regularizer)، مما يلغي في بعض الحالات الحاجة إلى Dropout. عند تطبيقها على نموذج رائد لتصنيف الصور، حققت Batch Normalization نفس الدقة بعدد خطوات تدريب أقل بـ 14 مرة، وتفوقت على النموذج الأصلي بفارق ملحوظ. وباستخدام مجموعة مدمجة (ensemble) من الشبكات المعايرة بالدفعات، حسّنا أفضل نتيجة منشورة في تصنيف ImageNet: حيث وصلنا إلى 4.9% كخطأ top-5 على مجموعة التحقق (و4.8% كخطأ اختبار)، متجاوزين دقة المقيمين من البشر.

الملخص الأصلي (بالإنجليزية)

Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.

دليل القراءة

المشكلة والدافع

أثناء تحسين الشبكات العميقة باستخدام SGD، تؤدي التغييرات في معلمات الطبقات الأولى إلى تغيير توزيع المدخلات للطبقات اللاحقة. يُطلق المؤلفون على هذه الظاهرة اسم Internal Covariate Shift.

تتسبب هذه الظاهرة في تحديين رئيسيين:

يجب على الشبكات الفرعية التكيف باستمرار مع توزيعات التنشيطات المتغيرة.
تنجرف التنشيطات بسهولة نحو مناطق التشبع في الدوال غير الخطية (مثل دوال sigmoid)، مما يسبب تلاشي التدرجات ويتطلب معدلات تعلم صغيرة وتهيئة دقيقة للغاية للمعلمات.

على الرغم من أن عملية التبييض (whitening - إزالة الارتباط والتقييس) لمدخلات الطبقات عبر كامل مجموعة البيانات يمكن أن تثبت التوزيعات، إلا أن حساب مصفوفات التغاير الكاملة وجذورها التربيعية العكسية عند كل تحديث للمعلمات أمر مكلف حسابياً بشكل هائل، ويمكن أن يؤدي إلى انفجار التدرجات إذا لم يتم دمج التقييس ضمن الانتشار الخلفي (backpropagation).

الأفكار الرئيسية

طبقة تقييس قابلة للاشتقاق (Differentiable Normalization Layer): بدلاً من توحيد التنشيطات خارج عملية التحسين، يتم دمج التقييس مباشرة في بنية النموذج، مما يضمن أخذ الانتشار الخلفي في الحسبان للاعتماديات بين تنشيطات الطبقة وإحصائيات الحزمة المصغرة.
تقييس لكل بُعد (Per-Dimension Normalization): بدلاً من التبييض المشترك الكامل، يتم تقييس كل بعد ميزة قياسي (scalar feature dimension) بشكل مستقل ليصل إلى متوسط صفري وتباين أحادي.
استعادة القدرة التمثيلية (Restoring Representational Capacity): لضمان ألا يؤدي التقييس إلى تدمير القدرة التعبيرية للطبقة (مثل حصر دالة sigmoid في السلوك الخطي فقط)، يتم إدخال معلمات قابلة للتعلم $γ$ (التحجيم) و $β$ (الإزاحة) لتمكين الطبقة من استعادة التحويل المطابق (identity transformation) إذا دعت الحاجة.
استدلال قطعي (Deterministic Inference): أثناء التدريب، تُحسب الإحصائيات عبر كل حزمة مصغرة $B$ . أما في وقت الاختبار، فتُستبدل إحصائيات الحزمة المصغرة بإحصائيات المجتمع الثابتة (المحسوبة عبر المتوسطات التراكمية أو عبر حزم التدريب)، مما يضمن استدلالاً حتمياً لكل عينة منفردة.
اللاتغير مع قياس المعلمات (Parameter Scale Invariance): تحقق تحويلات المقياس لأوزان الطبقة الخاصية $BN ((aW) u) = BN (W u)$ ، مما يعني أن الأوزان الأكبر تؤدي إلى تدرجات فعلية أصغر، وهو ما يمنع انفجار التدرج.

الطريقة (مع المعادلات الرئيسية)

بالنسبة لحزمة مصغرة $B = {x_{1 \dots m}}$ تقابل بعد تنشيط فردي:

حساب متوسط الحزمة المصغرة: $μ_{B} \leftarrow \frac{1}{m} i = 1 \sum m x_{i}$
حساب تباين الحزمة المصغرة: $σ_{B}^{2} \leftarrow \frac{1}{m} i = 1 \sum m (x_{i} - μ_{B})^{2}$
تقييس التنشيطات (باستخدام ثابت الاستقرار $ϵ$ ): $x_{i} \leftarrow \frac{x _{i} - μ _{B}}{σ _{B}^{2} + ϵ}$
التحجيم والإزاحة باستخدام المعلمات القابلة للتعلم $γ$ و $β$ : $y_{i} \leftarrow γ x_{i} + β \equiv BN_{γ, β} (x_{i})$

التطبيق على الطبقات

الموضع: تُطبق مباشرة قبل الدوال غير الخطية: $z = g (BN (W u))$ . يُلغى حد الانحياز الأصلي للطبقة $b$ لأن طرح المتوسط يلغيه (ويُستعاض عن دوره بالمعلمة $β$ ).
الطبقات الالتفافية (Convolutional Layers): للحفاظ على خاصية التكافؤ الانتقالي (translation equivariance)، يُطبق التقييس لكل خريطة ميزات (feature map) بدلاً من كل تنشيط مكاني. لحجم حزمة $m$ ودقة مكانية $p \times q$ ، يصبح حجم الحزمة المصغرة الفعلي $m^{'} = m \cdot p \cdot q$ ، مع مشاركة زوج واحد من $(γ, β)$ عبر كل خريطة ميزات.

تحويل الاستدلال

في وقت الاختبار، يصبح التحويل عملية خطية ثابتة باستخدام إحصائيات المجتمع $E [x]$ و $Var [x]$ : $y = \frac{γ}{Var [ x ] + ϵ} \cdot x + (β - \frac{γ E [ x ]}{Var [ x ] + ϵ})$

النتائج (مع أهم الأرقام)

MNIST مع دوال Sigmoid: حافظت الشبكات المزودة بـ Batch Normalization على توزيعات تنشيط مستقرة طوال التدريب، مما سرّع التقارب وحقق دقة اختبار أعلى مقارنة بالشبكات غير المقيسة.
سرعة التدريب على ImageNet (شبكة فردية):
- حقق نموذج Inception غير المقيس دقة تحقق بلغت 72.2% بعد $31.0 \times 1 0^{6}$ خطوة.
- حقق Inception المرجعي المزود بـ Batch-Normalization نفس الدقة 72.2% في $13.3 \times 1 0^{6}$ خطوة.
- مع معدل تعلم أعلى بـ 5 أضعاف (BN-x5)، وصل إلى 72.2% في $2.1 \times 1 0^{6}$ خطوة—أي انخفاض بمقدار 14 ضعفاً في خطوات التدريب المطلوبة، ووصل في النهاية إلى ذروة بلغت 73.0%.
- مع معدل تعلم أعلى بـ 30 ضعفاً (BN-x30)، حقق النموذج دقة قصوى بلغت 74.8% بعد $6.0 \times 1 0^{6}$ خطوة.
الدوال غير الخطية المشبعة: بينما فشل نموذج Inception غير المقيس ذو تنشيطات sigmoid في التدريب (وظل بالقرب من دقة عشوائية 0.1%)، حقق نموذج BN-x5-Sigmoid دقة top-1 بلغت 69.8%.
النتائج الرائدة المجمعة على ImageNet: حقق نموذج مدمج (ensemble) مكون من 6 شبكات تعتمد على تقييس الحزمة خطأ top-5 على مجموعة التحقق قدره 4.9% وخطأ اختبار قدره 4.82% على خادم اختبار ILSVRC، متفوقاً على أداء المقيمين من البشر.

أوجه القصور والأسئلة المفتوحة

الاعتماد على حجم الحزمة: نظراً لأن التقييس يعتمد على إحصائيات عينة الحزمة المصغرة، فإن أحجام الحزم المصغرة الصغيرة جداً قد تؤدي إلى تدهور جودة تقدير التباين والمتوسط.
الشبكات المتكررة (Recurrent Networks): اختبرت الورقة النماذج الأمامية والالتفافية، وحددت الشبكات العصبية المتكررة (RNNs) كمسألة مفتوحة غير مجربة قد يكون فيها internal covariate shift حرجاً أيضاً.
الأسس النظرية: افترض المؤلفون أن Batch Normalization تجعل القيم المفردة (singular values) لمصفوفات جاكوبي للطبقات قريبة من 1، لكنهم أشاروا إلى أن التحقق النظري الدقيق لسلوك التدرج يظل مفتوحاً للتحليلات المستقبلية.

المصطلحات الرئيسية

Internal Covariate Shift: التغير في توزيع التنشيطات الداخلية للشبكة أثناء التدريب والناتج عن تحديث معلمات الطبقات السابقة.
Batch Normalization: آلية توحد مدخلات الطبقة للحزمة المصغرة لتصل إلى متوسط صفري وتباين أحادي قبل تحجيمها وإزاحتها باستخدام معلمات متعلمة.
Scale and Shift Parameters (γ and β): معلمات قابلة للتعلم لكل تنشيط يمكنها استعادة القدرة التعبيرية للشبكة، بما في ذلك القدرة على تمثيل التحويل المطابق.
Whitening: تحويل للمدخلات لإنتاج أبعاد ميزات ذات متوسط صفري، وتباين أحادي، وغير مترابطة فيما بينها.
Batch Normalizing Transform: الخوارزمية الدقيقة القابلة للاشتقاق التي تحسب متوسط وتباين الحزمة المصغرة، وتقيس المدخلات، وتطبق التحجيم والإزاحة التآلفيين المتعلمين.
Population Statistics: المتوسط المتوقع الإجمالي والتباين غير المتحيز اللذان يتم تتبعهما عبر حزم التدريب المصغرة لتثبيت معلمات التقييس من أجل استدلال حتمي.
Feature Map Normalization: تطبيق التقييس بشكل مشترك عبر عناصر الحزمة المصغرة والمواقع المكانية بحيث تتشارك جميع التنشيطات داخل خريطة الميزات الالتفافية نفس الإحصائيات والمعلمات التآلفية.

أسئلة شائعة

أين تُطبق تقنية Batch Normalization بالنسبة للتنشيطات وحدود الانحياز؟

تُطبق مباشرة قبل الدالة غير الخطية ( $z = g (BN (W u))$ ). ويتم حذف معلمة الانحياز $b$ للتحويل الخطي السابق لأن طرح المتوسط يلغيها، مما يترك $β$ لتقوم بدور الانحياز.

كيف يختلف سلوك Batch Normalization أثناء التدريب مقارنة بالاستدلال؟

أثناء التدريب، يُحسب المتوسط والتباين مباشرة عبر الحزمة المصغرة الحالية لتقييس التنشيطات. أما أثناء الاستدلال، فتُستبدل هذه الإحصائيات بإحصائيات المجتمع الثابتة (متوسطات متحركة غير متحيزة عبر حزم التدريب)، مما يحول الطبقة إلى تحويل خطي ثابت.

لماذا تسمح Batch Normalization باستخدام معدلات تعلم أعلى؟

يمنع تقييس التنشيطات التغييرات الصغيرة في المعلمات من التفاقم إلى مناطق التشبع أو انفجار التدرجات. علاوة على ذلك، فإن التدرج الراجع عبر الطبقة يكون غير متغير بالنسبة لمقياس الأوزان: فالأوزان الأكبر تنتج تدرجات نسبية أصغر، مما يمنع عدم الاستقرار.

هل يمكن لـ Batch Normalization أن تحل محل Dropout؟

نعم، في العديد من البنى. نظراً لأن التنشيط المقيس لعينة فردية يعتمد على الأمثلة العشوائية الأخرى الموجودة في الحزمة المصغرة، فإن ذلك يضخ ضوضاء عشوائية تعمل كمنظم فعال، مما يسمح بتقليل استخدام Dropout أو الاستغناء عنه تماماً.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي