Deep Residual Learning for Image Recognition

Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun

शोध पत्र · arXiv 1512.03385

Deep Residual Learning for Image Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

प्रकाशित 2015-12-10cs.CV arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 गहरे प्लेन न्यूरल नेटवर्क्स ऑप्टिमाइज़ेशन डिग्रेडेशन से ग्रस्त होते हैं, जहाँ नॉन-वैनिशिंग ग्रेडिएंट्स के बावजूद गहराई बढ़ाने पर ट्रेनिंग एरर अधिक हो जाती है।
🔧 पैरामीटर-मुक्त आइडेंटिटी शॉर्टकट कनेक्शन्स $y = F (x) + x$ का उपयोग करके स्टैक्ड लेयर्स को रेजिड्यूअल मैपिंग $F (x) = H (x) - x$ में फिट करने के लिए पुनर्गठित किया गया।
📈 ImageNet पर 152 लेयर्स तक के नेटवर्क्स का प्रशिक्षण संभव बनाया (3.57% टॉप-5 एन्सेम्बल एरर प्राप्त की) और ILSVRC तथा COCO 2015 प्रतियोगिताओं में प्रथम स्थान जीता।

सार

अधिक गहरे न्यूरल नेटवर्क्स को प्रशिक्षित करना अधिक कठिन होता है। हम पहले उपयोग किए गए नेटवर्क्स की तुलना में काफी गहरे नेटवर्क्स के प्रशिक्षण को आसान बनाने के लिए एक रेजिड्यूअल लर्निंग फ्रेमवर्क प्रस्तुत करते हैं। हम लेयर्स को असंबद्ध (unreferenced) फलनों को सीखने के बजाय, लेयर इनपुट्स के संदर्भ में रेजिड्यूअल फलनों को सीखने के रूप में स्पष्ट रूप से पुनर्गठित करते हैं। हम व्यापक अनुभवजन्य साक्ष्य प्रदान करते हैं जो दर्शाते हैं कि इन रेजिड्यूअल नेटवर्क्स को ऑप्टिमाइज़ करना आसान है, और काफी बढ़ी हुई गहराई से उच्च सटीकता प्राप्त की जा सकती है। ImageNet डेटासेट पर हम 152 लेयर्स तक की गहराई वाले रेजिड्यूअल नेट्स का मूल्यांकन करते हैं—जो VGG नेट्स से 8 गुना गहरे हैं लेकिन फिर भी उनकी जटिलता कम है। इन रेजिड्यूअल नेट्स का एक एन्सेम्बल ImageNet टेस्ट सेट पर 3.57% त्रुटि प्राप्त करता है। इस परिणाम ने ILSVRC 2015 वर्गीकरण कार्य में प्रथम स्थान प्राप्त किया। हम CIFAR-10 पर 100 और 1000 लेयर्स के साथ विश्लेषण भी प्रस्तुत करते हैं। कई विज़ुअल रिकग्निशन कार्यों के लिए रिप्रजेंटेशन्स की गहराई अत्यंत महत्वपूर्ण है। केवल हमारे अत्यधिक गहरे रिप्रजेंटेशन्स के कारण, हम COCO ऑब्जेक्ट डिटेक्शन डेटासेट पर 28% सापेक्ष सुधार प्राप्त करते हैं। डीप रेजिड्यूअल नेट्स ILSVRC & COCO 2015 प्रतियोगिताओं में हमारे सबमिशन के आधार हैं, जहाँ हमने ImageNet डिटेक्शन, ImageNet लोकलाइज़ेशन, COCO डिटेक्शन और COCO सेगमेंटेशन के कार्यों में भी प्रथम स्थान प्राप्त किया।

मूल सार (अंग्रेज़ी)

Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. On the ImageNet dataset we evaluate residual nets with a depth of up to 152 layers---8x deeper than VGG nets but still having lower complexity. An ensemble of these residual nets achieves 3.57% error on the ImageNet test set. This result won the 1st place on the ILSVRC 2015 classification task. We also present analysis on CIFAR-10 with 100 and 1000 layers. The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation.

पढ़ने की गाइड

समस्या और प्रेरणा

विज़ुअल रिकग्निशन रिप्रजेंटेशन्स के लिए नेटवर्क की गहराई महत्वपूर्ण है, लेकिन अधिक लेयर्स को स्टैक करने से एक बुनियादी डिग्रेडेशन समस्या (degradation problem) सामने आती है: जैसे-जैसे गहराई बढ़ती है, सटीकता संतृप्त हो जाती है और फिर तेजी से गिरने लगती है। मुख्य रूप से, यह डिग्रेडेशन ओवरफिटिंग के कारण नहीं होता है—Batch Normalization और सामान्यीकृत इनिशियलाइज़ेशन जैसी तकनीकों द्वारा यह सुनिश्चित करने के बावजूद कि फॉरवर्ड एक्टिवेशन्स और बैकप्रोपैगेटेड ग्रेडिएंट्स वैनिश न हों, गहरे नेटवर्क्स अपने उथले समकक्षों की तुलना में अधिक ट्रेनिंग एरर उत्पन्न करते हैं।

सिद्धांत रूप में, एक गहरे मॉडल में संरचना के अनुसार एक आइडेंटिटी-मैपिंग समाधान होता है: सीखे गए उथले मॉडल को कॉपी करें और अतिरिक्त लेयर्स को आइडेंटिटी ट्रांसफॉर्मेशन पर सेट करें। हालाँकि, सीधे असंबद्ध गैर-रेखीय मैपिंग सीखते समय पारंपरिक सॉल्वर्स इस समाधान को खोजने में विफल रहते हैं।

मुख्य विचार

Residual Learning Framework: एक वांछित मैपिंग $H (x)$ को अनुमानित करने के लिए स्टैक्ड लेयर्स को ऑप्टिमाइज़ करने के बजाय, लेयर्स को स्पष्ट रूप से रेजिड्यूअल मैपिंग $F (x) := H (x) - x$ को अनुमानित करने दें। मूल मैपिंग को $F (x) + x$ के रूप में पुनः प्राप्त किया जाता है।
Identity Shortcut Connections: फ़ीडफॉरवर्ड शॉर्टकट कनेक्शन्स के माध्यम से $F (x) + x$ को प्राप्त करें जो एक या अधिक लेयर्स को छोड़ देते हैं। आइडेंटिटी शॉर्टकट्स के लिए शून्य अतिरिक्त पैरामीटर्स की आवश्यकता होती है और वे वस्तुतः कोई कम्प्यूटेशनल ओवरहेड नहीं जोड़ते हैं।
आसान ऑप्टिमाइज़ेशन और प्रीकंडीशनिंग: यदि आइडेंटिटी मैपिंग्स इष्टतम हैं, तो ऑप्टिमाइज़र्स आसानी से रेजिड्यूअल वेट्स को शून्य की ओर ले जा सकते हैं। व्यवहार में, रेजिड्यूअल फलन प्रतिक्रियाओं के परिमाण छोटे होते हैं, जो यह दर्शाता है कि आइडेंटिटी कनेक्शन्स प्रभावी प्रीकंडीशनिंग के रूप में कार्य करते हैं।
Bottleneck Architecture: अत्यधिक गहरे वेरिएंट्स (ResNet-50, ResNet-101, ResNet-152) के लिए, प्रत्येक 2-लेयर रेजिड्यूअल यूनिट को 3-लेयर बॉटलनेक ब्लॉक ( $1 \times 1$ , $3 \times 3$ , $1 \times 1$ कन्वोल्यूशन्स) से बदल दिया जाता है, जिससे रिप्रजेंटेशनल क्षमता को बनाए रखते हुए कम्प्यूटेशन कम हो जाता है।

विधि

एक रेजिड्यूअल बिल्डिंग ब्लॉक के लिए जहाँ इनपुट और आउटपुट आयाम मेल खाते हैं: $y = F (x, {W_{i}}) + x$ जहाँ $x$ और $y$ इनपुट और आउटपुट वेक्टर्स हैं, और 2-लेयर यूनिट के लिए $F = W_{2} σ (W_{1} x)$ है (जहाँ $σ$ ReLU को दर्शाता है, और सरलता के लिए बायसेस को छोड़ दिया गया है)। दूसरा ReLU एक्टिवेशन $σ (y)$ लागू करने से पहले एलिमेंट-वाइज़ जोड़ किया जाता है।

जब फ़ीचर मैप के आयाम बदलते हैं (उदा., स्थानिक डाउनसैंपलिंग या चैनलों को दोगुना करने के दौरान): $y = F (x, {W_{i}}) + W_{s} x$ यहाँ, $W_{s}$ इनमें से किसी एक को दर्शाता है:

विकल्प A: आइडेंटिटी शॉर्टकट्स के साथ अतिरिक्त आयामों को ज़ीरो-पैडिंग करना (सबसैंपलिंग के लिए स्ट्राइड 2), जो 0 अतिरिक्त पैरामीटर जोड़ता है।
विकल्प B: एक $1 \times 1$ रैखिक कन्वोल्यूशन प्रोजेक्शन $W_{s}$ , जिसका उपयोग केवल आयाम बढ़ाते समय किया जाता है, जबकि अन्य स्थानों पर शुद्ध आइडेंटिटी कनेक्शन्स का उपयोग किया जाता है।
विकल्प C: सभी रेजिड्यूअल ब्लॉक्स के लिए लीनियर प्रोजेक्शन शॉर्टकट्स $W_{s}$ ।

शोधपत्र ImageNet मॉडल्स (ResNet-50/101/152) के लिए विकल्प B को अपनाता है क्योंकि विकल्प C बिना किसी सार्थक सटीकता लाभ के पैरामीटर्स को बढ़ाता है, और बॉटलनेक संरचनाओं को कुशल बनाए रखने के लिए शुद्ध आइडेंटिटी शॉर्टकट्स महत्वपूर्ण हैं।

परिणाम

ImageNet वर्गीकरण:
- ResNet-34 ने plain-34 को 3.5% टॉप-1 एरर से पछाड़ दिया (25.03% बनाम 28.54% 10-क्रॉप वैल एरर) और ट्रेनिंग डिग्रेडेशन को हल किया।
- ResNet-152 ने 4.49% की सिंगल-मॉडल टॉप-5 वैलिडेशन एरर हासिल की (11.3 बिलियन FLOPs, 15.3 बिलियन FLOPs वाले VGG-16 से कम जटिलता)।
- ResNets के एक एन्सेम्बल ने टेस्ट सेट पर 3.57% टॉप-5 एरर हासिल की, जिससे ILSVRC 2015 वर्गीकरण चुनौती में पहला स्थान प्राप्त हुआ।
CIFAR-10: ResNet की गहराई 20, 32, 44, 56, और 110 लेयर्स तक आसानी से स्केल होती है, जिसमें ResNet-110 6.43% टेस्ट एरर तक पहुंचता है। एक प्रायोगिक 1202-लेयर नेटवर्क को बिना किसी ऑप्टिमाइज़ेशन विफलता के प्रशिक्षित किया गया ( $< 0.1%$ ट्रेनिंग एरर)।
ट्रांसफर और डाउनस्ट्रीम कार्य: Faster R-CNN में VGG-16 को ResNet-101 से बदलने पर MS COCO mAP@[.5, .95] 21.2% से बढ़कर 27.2% हो गया (28% सापेक्ष वृद्धि) और PASCAL VOC 2007 टेस्ट mAP 73.2% से बढ़कर 76.4% हो गया। डीप रेजिड्यूअल नेटवर्क्स ने ImageNet डिटेक्शन, ImageNet लोकलाइज़ेशन, COCO डिटेक्शन और COCO सेगमेंटेशन में भी पहला स्थान हासिल किया।

सीमाएं और खुले प्रश्न

अल्ट्रा-डीप आर्किटेक्चर पर ओवरफिटिंग: CIFAR-10 पर, छोटे डेटासेट पर रेगुलराइजेशन की कमी के कारण 1202-लेयर मॉडल ने $< 0.1%$ ट्रेनिंग एरर तक पहुंचने के बावजूद ResNet-110 (6.43%) की तुलना में उच्च टेस्ट एरर (7.93%) दिखाई।
डिग्रेडेशन का सैद्धांतिक कारण: शोधपत्र प्रयोगात्मक रूप से दिखाता है कि ग्रेडिएंट वैनिशिंग समस्या नहीं है, और यह अनुमान लगाता है कि प्लेन नेटवर्क्स तेजी से कम होने वाली कन्वर्जेंस दरों से ग्रस्त हैं, लेकिन ऑप्टिमाइज़ेशन डायनेमिक्स के सैद्धांतिक प्रमाणों को भविष्य के काम के लिए छोड़ देता है।
सिंगल-लेयर रेजिड्यूअल्स: जब $F$ में केवल एक लेयर होती है (जो $y = W_{1} x + x$ तक घट जाती है), तो रेजिड्यूअल फॉर्मूलेशन कोई ध्यान देने योग्य लाभ प्रदान नहीं करता है।

मुख्य शब्द

degradation problem (डिग्रेडेशन समस्या): वह विरोधाभासी घटना जहाँ एक गहरे न्यूरल नेटवर्क में अधिक लेयर्स जोड़ने से उच्च ट्रेनिंग एरर होती है, भले ही वैनिशिंग/एक्सप्लोsubjectडिंग ग्रेडिएंट्स की अनुपस्थिति हो।
residual learning (रेजिड्यूअल लर्निंग): सीधे एक असंबद्ध मैपिंग $H (x)$ को फिट करने के बजाय अपने इनपुट्स के सापेक्ष एक रेजिड्यूअल फलन $F (x) = H (x) - x$ को स्पष्ट रूप से सीखने के लिए स्टैक्ड न्यूरल नेटवर्क लेयर्स को पुनर्गठित करना।
identity shortcut connection (आइडेंटिटी शॉर्टकट कनेक्शन): एक पैरामीटर-मुक्त स्किप कनेक्शन जो इनपुट वेक्टर या फ़ीचर मैप को बिना बदले पास करता है और इसे स्टैक्ड कन्वोल्यूशनल लेयर्स के आउटपुट में एलिमेंट-वाइज़ जोड़ता है।
projection shortcut (प्रोजेक्शन शॉर्टकट): एक लीनियर ट्रांसफॉर्मेशन मैट्रिक्स या $1 \times 1$ कन्वोल्यूशन ( $W_{s}$ ) का उपयोग करने वाला शॉर्टकट कनेक्शन, जिसका उपयोग तब आयामों का मिलान करने के लिए किया जाता है जब इनपुट और आउटपुट चैनल की गहराई या स्थानिक आकार भिन्न होते हैं।
bottleneck design (बॉटलनेक डिज़ाइन): एक 3-लेयर रेजिड्यूअल बिल्डिंग ब्लॉक जिसमें $1 \times 1$ , $3 \times 3$ , और $1 \times 1$ कन्वोल्यूशन शामिल हैं, जहाँ $1 \times 1$ लेयर्स कम्प्यूटेशनल जटिलता को कम करने के लिए फ़ीचर आयामों को संपीड़ित और पुनर्स्थापित करती हैं।
plain network (प्लेन नेटवर्क): एक बेसलाइन कन्वोल्यूशनल नेटवर्क आर्किटेक्चर जो शॉर्टकट या रेजिड्यूअल कनेक्शन्स के बिना मानक कन्वोल्यूशनल और पूलिंग लेयर्स को आसानी से स्टैक करता है।

प्रश्न

डिग्रेडेशन की समस्या वैनिशिंग ग्रेडिएंट्स के कारण क्यों नहीं होती है?

नेटवर्क्स को Batch Normalization और नॉर्मलाइज़्ड वेट इनिशियलाइज़ेशन का उपयोग करके प्रशिक्षित किया गया था, जिन्हें फॉरवर्ड प्रोपेगेशन में नॉन-ज़ीरो सिग्नल वेरिएंस और बैकप्रोपैगेशन में स्वस्थ ग्रेडिएंट नॉर्म्स बनाए रखने के लिए सत्यापित किया गया था। इसके अलावा, plain-34 जैसे गहरे प्लेन नेटवर्क्स अभी भी गैर-तुच्छ (non-trivial) समाधानों पर कन्वर्ज हुए, लेकिन उथले नेटवर्क्स की तुलना में उच्च ट्रेनिंग एरर के साथ कन्वर्ज हुए।

ResNet आइडेंटिटी शॉर्टकट्स और Highway Networks में क्या अंतर है?

Highway networks डेटा-निर्भर, पैरामीटरयुक्त गेटिंग फलनों का उपयोग करते हैं जो बंद हो सकते हैं और लेयर्स को नॉन-रेजिड्यूअल बना सकते हैं, जबकि ResNet शॉर्टकट्स पैरामीटर-मुक्त आइडेंटिटी मैपिंग्स हैं जो कभी बंद नहीं होते हैं, जो शुरू से अंत तक रेजिड्यूअल लर्निंग की गारंटी देते हैं।

आइडेंटिटी शॉर्टकट के बजाय प्रोजेक्शन का उपयोग कब किया जाता है?

प्रोजेक्शन ( $1 \times 1$ कन्वोल्यूशन्स का उपयोग करके) मुख्य रूप से तब उपयोग किया जाता है जब इनपुट और आउटपुट फ़ीचर आयाम मेल नहीं खाते हैं (उदा., जब चैनलों को दोगुना किया जाता है और स्ट्राइड 2 के साथ स्थानिक रिज़ॉल्यूशन को आधा किया जाता है)। मिलान आयामों के लिए, आइडेंटिटी मैपिंग पर्याप्त है, अधिक किफायती है, और बॉटलनेक इकाइयों में पैरामीटर वृद्धि से बचाती है।

CIFAR-10 पर ResNet-1202 ने ResNet-110 की तुलना में खराब प्रदर्शन क्यों किया?

ResNet-1202 ऑप्टिमाइज़ेशन विफलता के बजाय ओवरफिटिंग से ग्रस्त था। यह सफलतापूर्वक $< 0.1%$ ट्रेनिंग एरर तक पहुंच गया, लेकिन इसके 19.4M पैरामीटर्स ड्रॉपआउट जैसी अतिरिक्त रेगुलराइजेशन तकनीकों के बिना छोटे CIFAR-10 डेटासेट के लिए अनावश्यक रूप से बड़े थे।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें