Deep Residual Learning for Image Recognition

Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun

Makalah · arXiv 1512.03385

Deep Residual Learning for Image Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

Terbit 2015-12-10cs.CV arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Plain neural network yang lebih dalam mengalami degradasi optimasi, di mana peningkatan kedalaman menghasilkan training error yang lebih tinggi meskipun gradien tidak lenyap (non-vanishing gradients).
🔧 Merumuskan ulang tumpukan layer agar memetakan fungsi residual $F (x) = H (x) - x$ menggunakan identity shortcut connection bebas parameter $y = F (x) + x$ .
📈 Memungkinkan pelatihan jaringan hingga 152 layer pada ImageNet (mencapai error ensemble top-5 sebesar 3,57%) dan meraih juara 1 dalam kompetisi ILSVRC dan COCO 2015.

Abstrak

Jaringan saraf tiruan yang lebih dalam lebih sulit untuk dilatih. Kami menyajikan sebuah kerangka kerja residual learning untuk mempermudah pelatihan jaringan yang secara substansial jauh lebih dalam daripada yang digunakan sebelumnya. Kami merumuskan kembali layer-layer secara eksplisit sebagai pembelajaran fungsi residual dengan mengacu pada input layer, alih-alih mempelajari fungsi tanpa referensi. Kami memberikan bukti empiris komprehensif yang menunjukkan bahwa jaringan residual ini lebih mudah dioptimalkan, dan dapat memperoleh peningkatan akurasi dari kedalaman yang ditingkatkan secara signifikan. Pada dataset ImageNet, kami mengevaluasi residual net dengan kedalaman hingga 152 layer---8x lebih dalam daripada VGG net tetapi masih memiliki kompleksitas yang lebih rendah. Sebuah ansambel dari residual net ini mencapai error 3,57% pada test set ImageNet. Hasil ini memenangkan juara ke-1 pada tugas klasifikasi ILSVRC 2015. Kami juga menyajikan analisis pada CIFAR-10 dengan 100 dan 1000 layer. Kedalaman representasi memiliki kepentingan sentral untuk banyak tugas pengenalan visual. Hanya berkat representasi kami yang sangat dalam, kami memperoleh peningkatan relatif 28% pada dataset deteksi objek COCO. Deep residual net adalah fondasi dari pengajuan kami untuk kompetisi ILSVRC & COCO 2015, di mana kami juga memenangkan juara ke-1 pada tugas ImageNet detection, ImageNet localization, COCO detection, dan COCO segmentation.

Abstrak asli (bahasa Inggris)

Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. On the ImageNet dataset we evaluate residual nets with a depth of up to 152 layers---8x deeper than VGG nets but still having lower complexity. An ensemble of these residual nets achieves 3.57% error on the ImageNet test set. This result won the 1st place on the ILSVRC 2015 classification task. We also present analysis on CIFAR-10 with 100 and 1000 layers. The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation.

Panduan membaca

Masalah dan motivasi

Kedalaman jaringan sangat penting untuk representasi visual recognition, tetapi menumpuk lebih banyak layer memunculkan degradation problem yang mendasar: seiring bertambahnya kedalaman, akurasi mengalami saturasi lalu terdegradasi dengan cepat. Yang terpenting, degradasi ini tidak disebabkan oleh overfitting—jaringan yang lebih dalam menghasilkan training error yang lebih tinggi dibandingkan jaringan serupa yang lebih dangkal, terlepas dari teknik seperti Batch Normalization dan inisialisasi ternormalisasi yang memastikan bahwa aktivasi forward dan gradien backpropagation tidak lenyap.

Secara teori, model yang lebih dalam memiliki solusi pemetaan identitas (identity-mapping) secara terkonstruksi: salin model dangkal yang sudah terlatih dan atur layer-layer tambahan menjadi transformasi identitas. Namun, pemecah (solver) konvensional gagal menemukan solusi ini ketika mempelajari pemetaan nonlinier tanpa referensi secara langsung.

Ide-ide utama

Kerangka Kerja Residual Learning: Alih-alih mengoptimalkan tumpukan layer untuk mengaproksimasi pemetaan yang diinginkan $H (x)$ , biarkan layer secara eksplisit mengaproksimasi pemetaan residual $F (x) := H (x) - x$ . Pemetaan asli diperoleh kembali sebagai $F (x) + x$ .
Identity Shortcut Connections: Merealisasikan $F (x) + x$ melalui shortcut connection feedforward yang melompati satu atau beberapa layer. Shortcut identitas ini memerlukan nol parameter tambahan dan praktis tidak menambah beban komputasi.
Optimasi Lebih Mudah & Preconditioning: Jika pemetaan identitas optimal, pengoptimal cukup mendorong bobot residual mendekati nol. Dalam praktiknya, respons fungsi residual memiliki magnitudo kecil, menunjukkan bahwa koneksi identitas bertindak sebagai preconditioning yang efektif.
Arsitektur Bottleneck: Untuk varian yang sangat dalam (ResNet-50, ResNet-101, ResNet-152), setiap unit residual 2-layer digantikan oleh blok bottleneck 3-layer (konvolusi $1 \times 1$ , $3 \times 3$ , $1 \times 1$ ), yang mengurangi komputasi sekaligus mempertahankan kapasitas representasi.

Metode

Untuk blok pembangun residual di mana dimensi input dan output cocok: $y = F (x, {W_{i}}) + x$ di mana $x$ dan $y$ adalah vektor input dan output, dan $F = W_{2} σ (W_{1} x)$ untuk unit 2-layer (dengan $σ$ melambangkan ReLU, dan bias diabaikan demi kesederhanaan). Penjumlahan per-elemen (element-wise addition) dilakukan sebelum menerapkan aktivasi ReLU kedua $σ (y)$ .

Ketika dimensi feature map berubah (misalnya, saat downsampling spasial atau penggandaan channel): $y = F (x, {W_{i}}) + W_{s} x$ Di sini, $W_{s}$ menunjukkan salah satu dari:

Opsi A: Zero-padding pada dimensi tambahan bersama dengan shortcut identitas (stride 2 untuk subsampling), yang memperkenalkan 0 parameter tambahan.
Opsi B: Proyeksi konvolusi linear $1 \times 1$ $W_{s}$ yang hanya digunakan ketika meningkatkan dimensi, sementara tetap menggunakan koneksi identitas murni di tempat lain.
Opsi C: Shortcut proyeksi linear $W_{s}$ untuk semua blok residual.

Makalah ini mengadopsi Opsi B untuk model-model ImageNet (ResNet-50/101/152) karena Opsi C menambah beban parameter tanpa peningkatan akurasi yang berarti, dan shortcut identitas murni sangat penting untuk menjaga efisiensi struktur bottleneck.

Hasil

Klasifikasi ImageNet:
- ResNet-34 mengungguli plain-34 sebesar 3,5% top-1 error (25,03% vs. 28,54% 10-crop val error) dan mengatasi degradasi pelatihan.
- ResNet-152 mencapai error validasi top-5 single-model sebesar 4,49% (11,3 miliar FLOPs, kompleksitas lebih rendah daripada VGG-16 dengan 15,3 miliar FLOPs).
- Ansambel ResNet mencapai error top-5 sebesar 3,57% pada test set, memenangkan juara 1 dalam tantangan klasifikasi ILSVRC 2015.
CIFAR-10: Kedalaman ResNet dapat ditingkatkan secara mulus melalui 20, 32, 44, 56, dan 110 layer, dengan ResNet-110 mencapai error uji 6,43%. Jaringan eksperimental 1202 layer berhasil dilatih tanpa kegagalan optimasi sama sekali ( $< 0, 1%$ error pelatihan).
Transfer & Downstream Tasks: Mengganti VGG-16 dengan ResNet-101 pada Faster R-CNN meningkatkan mAP@[.5, .95] MS COCO dari 21,2% menjadi 27,2% (peningkatan relatif 28%) dan mAP pengujian PASCAL VOC 2007 dari 73,2% menjadi 76,4%. Deep residual network juga memenangkan juara 1 dalam ImageNet detection, ImageNet localization, COCO detection, dan COCO segmentation.

Batasan dan pertanyaan terbuka

Overfitting pada Arsitektur Sangat Dalam: Pada CIFAR-10, model 1202-layer menunjukkan error pengujian yang lebih tinggi (7,93%) daripada ResNet-110 (6,43%) meskipun mencapai error pelatihan $< 0, 1%$ , karena kurangnya regularisasi pada dataset yang kecil.
Penyebab Teoretis Degradasi: Makalah ini menunjukkan secara eksperimental bahwa lenyapnya gradien bukanlah masalahnya, menduga bahwa plain network menderita laju konvergensi yang rendah secara eksponensial, tetapi menyerahkan bukti teoretis mengenai dinamika optimasi kepada penelitian mendatang.
Residual Satu Layer: Formulasi residual tidak memberikan manfaat nyata ketika $F$ hanya terdiri dari satu layer saja (tereduksi menjadi $y = W_{1} x + x$ ).

Istilah kunci

degradation problem: Fenomena kontraintuitif di mana penambahan lebih banyak layer ke jaringan saraf tiruan dalam menyebabkan training error yang lebih tinggi, meskipun tidak ada masalah vanishing/exploding gradient.
residual learning: Merumuskan ulang tumpukan layer jaringan saraf tiruan untuk secara eksplisit mempelajari fungsi residual $F (x) = H (x) - x$ relatif terhadap inputnya, alih-alih mencocokkan pemetaan tanpa referensi $H (x)$ secara langsung.
identity shortcut connection: Koneksi lewatan (skip connection) bebas parameter yang meneruskan vektor input atau feature map tanpa perubahan dan menambahkannya secara per-elemen ke output tumpukan layer konvolusional.
projection shortcut: Shortcut connection yang menggunakan matriks transformasi linear atau konvolusi $1 \times 1$ ( $W_{s}$ ) untuk mencocokkan dimensi ketika kedalaman channel input dan output atau ukuran spasialnya berbeda.
bottleneck design: Blok pembangun residual 3-layer yang terdiri dari konvolusi $1 \times 1$ , $3 \times 3$ , dan $1 \times 1$ , di mana layer $1 \times 1$ mengompresi dan memulihkan dimensi fitur untuk mengurangi kompleksitas komputasi.
plain network: Arsitektur jaringan konvolusional dasar yang hanya menumpuk layer konvolusi dan pooling standar tanpa shortcut atau koneksi residual.

Pertanyaan

Mengapa degradation problem tidak disebabkan oleh vanishing gradients?

Jaringan dilatih menggunakan Batch Normalization dan inisialisasi bobot ternormalisasi, yang diverifikasi mempertahankan varians sinyal bukan-nol pada forward propagation serta norma gradien yang baik pada backpropagation. Lebih jauh lagi, plain network yang lebih dalam seperti plain-34 tetap konvergen ke solusi non-trivial, tetapi konvergen dengan training error yang lebih tinggi dibandingkan jaringan yang lebih dangkal.

Apa perbedaan antara identity shortcut pada ResNet dan Highway Networks?

Highway Networks menggunakan fungsi gerbang terparameterisasi yang bergantung pada data yang dapat menutup dan mengubah layer menjadi non-residual, sedangkan shortcut ResNet adalah pemetaan identitas bebas parameter yang tidak pernah tertutup, menjamin residual learning di seluruh jaringan.

Kapan proyeksi digunakan sebagai pengganti identity shortcut?

Proyeksi (menggunakan konvolusi $1 \times 1$ ) terutama digunakan ketika dimensi fitur input dan output tidak cocok (misalnya, saat menggandakan channel dan membagi dua resolusi spasial dengan stride 2). Untuk dimensi yang cocok, pemetaan identitas sudah mencukupi, lebih ekonomis, dan menghindari pembengkakan parameter pada unit bottleneck.

Mengapa ResNet-1202 berkinerja lebih buruk pada CIFAR-10 dibandingkan ResNet-110?

ResNet-1202 mengalami overfitting, bukan kegagalan optimasi. Jaringan ini berhasil mencapai training error $< 0, 1%$ , tetapi 19,4 juta parameternya terlalu besar untuk dataset CIFAR-10 yang kecil tanpa teknik regularisasi tambahan seperti dropout.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI