Deep Residual Learning for Image Recognition

Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun

الأوراق البحثية · arXiv 1512.03385

التعلم المتبقي العميق للتعرف على الصور (Deep Residual Learning for Image Recognition)

Deep Residual Learning for Image Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

تاريخ النشر 2015-12-10cs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعاني الشبكات العصبية البسيطة (plain networks) الأعمق من تدهور في التحسين، حيث يؤدي عمق الطبقات الزائد إلى خطأ تدريب أعلى بالرغم من عدم تلاشي التدرجات.
🔧 إعادة صياغة الطبقات المتتالية لتلائم مخططاً متبقياً $F (x) = H (x) - x$ باستخدام اتصالات تطابق فرعية خالية من المعاملات $y = F (x) + x$ .
📈 تمكين تدريب شبكات يصل عمقها إلى 152 طبقة على ImageNet (بتحقيق خطأ تجميعي بنسبة 3.57% لأفضل 5 نتائج) واقتناص المركز الأول في مسابقات ILSVRC وCOCO لعام 2015.

الملخص

تزداد صعوبة تدريب الشبكات العصبية كلما زاد عمقها. نقدم إطار عمل للتعلم المتبقي لتسهيل تدريب شبكات أعمق بكثير من تلك المستخدمة سابقاً. نعيد صياغة الطبقات صراحةً لتتعلم دوال متبقية بالرجوع إلى مدخلات الطبقة، بدلاً من تعلم دوال غير مرجعية. نقدم أدلة تجريبية شاملة توضح أن هذه الشبكات المتبقية أسهل في التحسين، ويمكنها اكتساب الدقة من خلال زيادة العمق بدرجة ملحوظة. على مجموعة بيانات ImageNet، قمنا بتقييم شبكات متبقية بعمق يصل إلى 152 طبقة — أي أعمق بثماني مرات من شبكات VGG ولكن مع الحفاظ على تعقيد حسابي أقل. يحقق تجميع من هذه الشبكات المتبقية نسبة خطأ قدرها 3.57% على مجموعة اختبار ImageNet. أحرزت هذه النتيجة المركز الأول في مهمة التصنيف ضمن مسابقة ILSVRC 2015. نقدم أيضاً تحليلاً على مجموعة بيانات CIFAR-10 باستخدام 100 و1000 طبقة. إن عمق التمثيلات يمثل أهمية مركزية للعديد من مهام التعرف البصري. وبفضل تمثيلاتنا شديدة العمق وحدها، حصلنا على تحسين نسبي بنسبة 28% في مجموعة بيانات كشف الكائنات COCO. تعد الشبكات المتبقية العميقة أساساً لمشاركاتنا في مسابقتي ILSVRC وCOCO لعام 2015، حيث فزنا أيضاً بالمراكز الأولى في مهام كشف كائنات ImageNet، وتحديد مواقع ImageNet، وكشف كائنات COCO، وتجزئة COCO.

الملخص الأصلي (بالإنجليزية)

Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. On the ImageNet dataset we evaluate residual nets with a depth of up to 152 layers---8x deeper than VGG nets but still having lower complexity. An ensemble of these residual nets achieves 3.57% error on the ImageNet test set. This result won the 1st place on the ILSVRC 2015 classification task. We also present analysis on CIFAR-10 with 100 and 1000 layers. The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation.

دليل القراءة

المشكلة والدافع

يعد عمق الشبكة أمراً بالغ الأهمية لتمثيلات التعرف البصري، لكن تكديس المزيد من الطبقات يكشف عن مشكلة تدهور (degradation problem) أساسية: مع زيادة العمق، تستقر الدقة ثم تتدهور بسرعة. الأهم من ذلك أن هذا التدهور لا ينجم عن فرط التخصيص (overfitting)؛ فالشبكات الأعمق تنتج خطأ تدريب أعلى مقارنة بنظيراتها الأقل عمقاً، بالرغم من استخدام تقنيات مثل Batch Normalization والتهيئة المعيارية للأوزان لضمان عدم تلاشي التنشيطات الأمامية وتدرجات الانتشار الخلفي.

من الناحية النظرية، يمتلك النموذج الأعمق حلاً يعتمد على التطابق المباشر بصورة بديهية: انسخ النموذج الأقل عمقاً بعد تدريبه واجعل الطبقات الإضافية بمثابة تحويلات تطابق (identity transformations). ومع ذلك، تفشل خوارزميات التحسين التقليدية في إيجاد هذا الحل عند محاولة تعلم تحويلات غير خطية مباشرة دون الرجوع إلى المدخلات الأصلية.

الأفكار الرئيسية

إطار التعلم المتبقي (Residual Learning Framework): بدلاً من تحسين الطبقات المتتالية لتقريب الدالة المطلوبة $H (x)$ ، نترك الطبقات تقرب صراحة الدالة المتبقية $F (x) := H (x) - x$ . ويتم استرجاع الدالة الأصلية عبر $F (x) + x$ .
اتصالات التطابق الفرعية (Identity Shortcut Connections): تطبيق $F (x) + x$ عبر اتصالات فرعية للتغذية الأمامية تتخطى طبقة واحدة أو أكثر. لا تتطلب اتصالات التطابق هذه أي معاملات إضافية ولا تضيف أي عبء حسابي يُذكر.
تحسين أسهل وتكييف مسبق (Easier Optimization & Preconditioning): إذا كانت دوال التطابق هي الحل الأمثل، فيمكن للمُحسِّنات دفع أوزان الدالة المتبقية نحو الصفر ببساطة. عملياً، تكون استجابات الدوال المتبقية صغيرة المقدار، مما يشير إلى أن اتصالات التطابق تعمل بمثابة تكييف مسبق فعال للتحسين.
البنية عنقية الشكل (Bottleneck Architecture): في النماذج العميقة جداً (ResNet-50 وResNet-101 وResNet-152)، تُستبدل كل وحدة متبقية مكوّنة من طبقتين بكتلة عنقية مكوّنة من 3 طبقات (التفافات $1 \times 1$ و $3 \times 3$ و $1 \times 1$ )، مما يقلل من العمليات الحسابية مع الحفاظ على القدرة التمثيلية للنموذج.

الطريقة

بالنسبة لكتلة البناء المتبقية التي تتطابق فيها أبعاد المدخلات والمخرجات: $y = F (x, {W_{i}}) + x$ حيث $x$ و $y$ هما متجهات المدخلات والمخرجات، و $F = W_{2} σ (W_{1} x)$ لوحدة من طبقتين (مع الإشارة إلى ReLU بـ $σ$ ، وحذف حدود الانحياز للاختصار). يتم الجمع عنصراً بعنصر قبل تطبيق دالة التنشيط ReLU الثانية $σ (y)$ .

عندما تتغير أبعاد خريطة السمات (على سبيل المثال، أثناء خفض الأبعاد المكانية أو مضاعفة عدد القنوات): $y = F (x, {W_{i}}) + W_{s} x$ هنا، تشير $W_{s}$ إلى أحد الخيارات التالية:

الخيار A: استخدام الحشو الصفري (Zero-padding) للأبعاد الإضافية مع اتصالات التطابق (بخطوة خطوة 2 لخفض الأبعاد)، وهو ما يضيف صفر معاملات جديدة.
الخيار B: استخدام التواء إسقاطي خطي $1 \times 1$ لـ $W_{s}$ فقط عند زيادة الأبعاد، مع استخدام اتصالات تطابق نقية في المواضع الأخرى.
الخيار C: استخدام اتصالات إسقاط خطية $W_{s}$ لجميع الكتل المتبقية.

اعتمدت الورقة البحثية الخيار B لنماذج ImageNet (وهي ResNet-50/101/152) لأن الخيار C يضيف تضخماً في المعاملات دون تحقيق مكاسب ذات مغزى في الدقة، في حين أن اتصالات التطابق النقية ضرورية للحفاظ على كفاءة البنى عنقية الشكل.

النتائج

تصنيف ImageNet:
- تفوق نموذج ResNet-34 على نموذج plain-34 بفارق 3.5% في معدل خطأ top-1 (خطأ التحقق لـ 10 اقتصاصات: 25.03% مقابل 28.54%) وحل مشكلة تدهور التدريب.
- حقق ResNet-152 معدل خطأ تحقق top-5 للنموذج الفردي قدره 4.49% (مع 11.3 مليار عملية FLOPs، وهو تعقيد أقل مقارنة بـ VGG-16 الذي يتطلب 15.3 مليار عملية FLOPs).
- حقق تجميع نماذج ResNets نسبة خطأ بلغت 3.57% لأفضل 5 نتائج على مجموعة الاختبار، محققاً المركز الأول في تحدي تصنيف ILSVRC 2015.
CIFAR-10: تدرجت أعماق ResNet بسلاسة عبر 20 و32 و44 و56 و110 طبقات، ووصل ResNet-110 إلى خطأ اختبار بنسبة 6.43%. كما تم تدريب شبكة تجريبية مكوّنة من 1202 طبقة دون أي فشل في التحسين (خطأ التدريب أقل من $0.1%$ ).
النقل والمهام التابعة (Transfer & Downstream Tasks): أدى استبدال VGG-16 بنموذج ResNet-101 في Faster R-CNN إلى تحسين mAP@[.5, .95] في MS COCO من 21.2% إلى 27.2% (تحسن نسبي قدره 28%) ومقياس mAP لاختبار PASCAL VOC 2007 من 73.2% إلى 76.4%. وفازت الشبكات المتبقية العميقة أيضاً بالمركز الأول في مهام كشف كائنات ImageNet، وتحديد مواقع ImageNet، وكشف كائنات COCO، وتجزئة COCO.

القيود والأسئلة المفتوحة

فرط التخصيص في البنى فائقة العمق: في مجموعة بيانات CIFAR-10، أظهر النموذج المكون من 1202 طبقة خطأ اختبار أعلى (7.93%) مقارنة بـ ResNet-110 (6.43%) بالرغم من وصول خطأ التدريب إلى أقل من $0.1%$ ، وذلك بسبب غياب التنظيم (regularization) الكافي مع صغر حجم البيانات.
السبب النظري للتدهور: أثبتت الورقة تجريبياً أن تلاشي التدرجات ليس هو السبب، مرجحة أن الشبكات البسيطة تعاني من معدلات تقارب بطيئة أسياً، لكنها تركت البراهين النظرية لديناميكيات التحسين للأبحاث المستقبلية.
المتبقيات أحادية الطبقة: لا توفر الصياغة المتبقية أي فائدة ملحوظة عندما تتكون $F$ من طبقة واحدة فقط (حيث تؤول إلى $y = W_{1} x + x$ ).

المصطلحات الرئيسية

degradation problem: ظاهرة غير متوقعة تؤدي فيها إضافة المزيد من الطبقات إلى شبكة عصبية عميقة إلى زيادة خطأ التدريب، بالرغم من عدم وجود تلاشٍ أو انفجار في التدرجات.
residual learning: إعادة صياغة طبقات الشبكة العصبية المتتالية لتتعلم صراحة دالة متبقية $F (x) = H (x) - x$ بالنسبة لمدخلاتها بدلاً من تقريب الدالة المطلوبة $H (x)$ مباشرة.
identity shortcut connection: اتصال تخطٍ خالٍ من المعاملات يمرر متجهات المدخلات أو خريطة السمات دون تغيير ويضيفها عنصراً بعنصر إلى مخرجات الطبقات الالتفافية المتتالية.
projection shortcut: اتصال فرعي يستخدم مصفوفة تحويل خطي أو التواء $1 \times 1$ ( $W_{s}$ ) لمطابقة الأبعاد عندما يختلف عمق قنوات المدخلات والمخرجات أو حجمها المكاني.
bottleneck design: كتلة بناء متبقية من 3 طبقات تتكون من التفافات $1 \times 1$ و $3 \times 3$ و $1 \times 1$ ، حيث تعمل طبقات $1 \times 1$ على ضغط أبعاد السمات واستعادتها لتقليل التعقيد الحسابي.
plain network: بنية شبكة التفافية مرجعية تقوم ببساطة بتكديس طبقات الالتفاف والتجميع القياسية دون استخدام أي اتصالات فرعية أو متبقية.

أسئلة شائعة

لماذا لا تحدث مشكلة التدهور (degradation problem) بسبب تلاشي التدرجات؟

دُرّبت الشبكات باستخدام Batch Normalization والتهيئة المعيارية للأوزان، وقد تم التحقق من أنهما يحافظان على تباينات إشارة غير صفرية في التمرير الأمامي وقيم قياسية جيدة للتدرجات في الانتشار الخلفي. علاوة على ذلك، استطاعت الشبكات البسيطة الأعمق مثل plain-34 التقارب نحو حلول غير تافهة، ولكنها تقاربت عند خطأ تدريب أعلى من الشبكات الأقل عمقاً.

ما الفرق بين اتصالات التطابق الفرعية في ResNet وشبكات Highway Networks؟

تستخدم شبكات Highway Networks دوال بوابية ذات معاملات وتعتمد على البيانات يمكن أن تنغلق وتجعل الطبقات غير متبقية، بينما اتصالات ResNet هي تحويلات تطابق خالية من المعاملات لا تنغلق أبداً، مما يضمن استمرار التعلم المتبقي دائماً.

متى يُستخدم اتصال الإسقاط بدلاً من اتصال التطابق الفرعي؟

يُستخدم الإسقاط (باستخدام التواءات $1 \times 1$ ) بشكل أساسي عندما لا تتطابق أبعاد السمات في المدخلات والمخرجات (مثل مضاعفة عدد القنوات وخفض الدقة المكانية للنصف بخطوة stride مقدارها 2). أما في حالة تطابق الأبعاد، فإن تحويل التطابق يكون كافياً وأكثر اقتصادية، ويتجنب تضخم المعاملات في الوحدات عنقية الشكل.

لماذا كان أداء ResNet-1202 أسوأ من ResNet-110 على CIFAR-10؟

عانى ResNet-1202 من فرط التخصيص (overfitting) وليس من فشل في عملية التحسين. فقد نجح النموذج في الوصول إلى خطأ تدريب أقل من $0.1%$ ، لكن عدد معاملاته البالغ 19.4 مليوناً كان كبيراً بصورة غير ضرورية بالنسبة لمجموعة بيانات CIFAR-10 الصغيرة دون تطبيق تقنيات تنظيم إضافية مثل dropout.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي