Deep Residual Learning for Image Recognition

Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun

Makaleler · arXiv 1512.03385

Deep Residual Learning for Image Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

Yayımlanma 2015-12-10cs.CV arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Daha derin yalın sinir ağları, gradyanların kaybolmamasına rağmen derinliğin artmasının daha yüksek eğitim hatasına yol açtığı optimizasyon bozulmasından (degradation) muzdariptir.
🔧 Parametresiz özdeşlik kestirme bağlantıları $y = F (x) + x$ kullanarak, ardışık katmanları bir artık eşlemeyi $F (x) = H (x) - x$ öğrenecek şekilde yeniden formüle edin.
📈 ImageNet üzerinde 152 katmana kadar olan ağların eğitilmesini sağladı (topluluk ile %3,57 top-5 hatası elde ederek) ve ILSVRC ile COCO 2015 yarışmalarında 1. sırayı kazandı.

Özet

Daha derin yapay sinir ağlarını eğitmek daha zordur. Daha önce kullanılanlardan önemli ölçüde daha derin olan ağların eğitimini kolaylaştırmak için bir artık öğrenme (residual learning) çerçevesi sunuyoruz. Katmanları, doğrudan referanssız fonksiyonları öğrenmek yerine, katman girdilerine referansla artık fonksiyonları öğrenecek şekilde açıkça yeniden formüle ediyoruz. Bu artık ağların optimize edilmesinin daha kolay olduğunu ve belirgin biçimde artırılmış derinlikten doğruluk kazanımı sağlayabildiğini gösteren kapsamlı ampirik kanıtlar sunuyoruz. ImageNet veri kümesi üzerinde, VGG ağlarından 8 kat daha derin ancak yine de daha düşük karmaşıklığa sahip olan 152 katmana kadar derinlikteki artık ağları değerlendiriyoruz. Bu artık ağların bir topluluğu (ensemble), ImageNet test kümesinde %3,57 hata elde etmektedir. Bu sonuç, ILSVRC 2015 sınıflandırma görevinde 1. sırayı kazanmıştır. Ayrıca 100 ve 1000 katman ile CIFAR-10 üzerindeki analizleri de sunuyoruz. Temsillerin derinliği birçok görsel tanıma görevi için merkezi öneme sahiptir. Yalnızca son derece derin temsillerimiz sayesinde, COCO nesne tespiti veri kümesinde %28 göreli gelişme elde ediyoruz. Derin artık ağlar, ImageNet tespiti, ImageNet yerelleştirme, COCO tespiti ve COCO segmentasyonu görevlerinde de 1.lik kazandığımız ILSVRC ve COCO 2015 yarışmalarına sunduğumuz çözümlerin temelini oluşturmaktadır.

Orijinal özet (İngilizce)

Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. On the ImageNet dataset we evaluate residual nets with a depth of up to 152 layers---8x deeper than VGG nets but still having lower complexity. An ensemble of these residual nets achieves 3.57% error on the ImageNet test set. This result won the 1st place on the ILSVRC 2015 classification task. We also present analysis on CIFAR-10 with 100 and 1000 layers. The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation.

Okuma rehberi

Problem ve motivasyon

Ağ derinliği görsel tanıma temsilleri için kritik öneme sahiptir, ancak daha fazla katman eklemek temel bir degradation problem (bozulma sorunu) ortaya çıkarır: derinlik arttıkça doğruluk doyuma ulaşır ve ardından hızla bozulur. Kritik olarak, bu bozulma aşırı öğrenmeden (overfitting) kaynaklanmaz; Batch Normalization ve normalize edilmiş ilklendirme gibi tekniklerin ileri yayılım aktivasyonlarının ve geri yayılan gradyanların kaybolmamasını sağlamasına rağmen, daha derin ağlar daha sığ benzerlerine göre daha yüksek eğitim hatası üretir.

Teorik olarak, daha derin bir model tanımı gereği bir özdeşlik eşleme (identity-mapping) çözümüne sahiptir: öğrenilen daha sığ modeli kopyalayın ve fazladan katmanları özdeşlik dönüşümleri olarak ayarlayın. Ancak geleneksel çözücüler, referanssız doğrusal olmayan eşlemeleri doğrudan öğrenirken bu çözümü bulmakta başarısız olur.

Temel fikirler

Residual Learning Çerçevesi: Ardışık katmanları istenen bir $H (x)$ eşlemesini yaklaştırmak için optimize etmek yerine, katmanların açıkça $F (x) := H (x) - x$ artık eşlemesini yaklaştırmasına izin verin. Orijinal eşleme $F (x) + x$ olarak geri elde edilir.
Identity Shortcut Connection: $F (x) + x$ ifadesini, bir veya daha fazla katmanı atlayan ileri beslemeli kestirme bağlantılar aracılığıyla gerçekleştirin. Özdeşlik kestirmeleri sıfır ekstra parametre gerektirir ve neredeyse hiçbir hesaplama yükü getirmez.
Daha Kolay Optimizasyon ve Ön Koşullandırma: Eğer özdeşlik eşlemeleri optimalse, optimize ediciler artık ağırlıkları kolayca sıfıra doğru yönlendirebilir. Pratikte artık fonksiyon tepkilerinin genlikleri küçüktür; bu da özdeşlik bağlantılarının etkili bir ön koşullandırıcı olarak davrandığını gösterir.
Bottleneck Mimarisi: Çok derin varyantlar için (ResNet-50, ResNet-101, ResNet-152), her 2 katmanlı artık birim, 3 katmanlı bir darboğaz bloğuyla ( $1 \times 1$ , $3 \times 3$ , $1 \times 1$ konvolüsyonlar) değiştirilir; böylece temsil kapasitesi korunurken hesaplama maliyeti azaltılır.

Yöntem

Girdi ve çıktı boyutlarının eşleştiği bir artık yapı bloğu için: $y = F (x, {W_{i}}) + x$ burada $x$ ve $y$ girdi ve çıktı vektörleridir, $F = W_{2} σ (W_{1} x)$ ise 2 katmanlı bir birimdir ( $irim$ için $σ$ ReLU'yu gösterir ve yanlılıklar basitlik adına ihmal edilmiştir). Eleman düzeyinde toplama, ikinci ReLU aktivasyonu $σ (y)$ uygulanmadan önce gerçekleştirilir.

Öznitelik haritası boyutları değiştiğinde (örneğin uzamsal alt örnekleme veya kanal sayısının ikiye katlanması sırasında): $y = F (x, {W_{i}}) + W_{s} x$ Burada $W_{s}$ aşağıdakilerden birini ifade eder:

Seçenek A: 0 ekstra parametre getiren, özdeşlik kestirmeleri ile birlikte fazladan boyutları sıfırla doldurma (zero-padding; alt örnekleme için adım kaydırma/stride 2).
Seçenek B: Yalnızca boyutları artırırken kullanılan, diğer yerlerde saf özdeşlik bağlantılarını koruyan $1 \times 1$ doğrusal konvolüsyon projeksiyonu $W_{s}$ .
Seçenek C: Tüm artık bloklar için doğrusal projeksiyon kestirmeleri $W_{s}$ .

Makale, ImageNet modelleri (ResNet-50/101/152) için Seçenek B'yi benimser; çünkü Seçenek C anlamlı bir doğruluk artışı sağlamadan parametre sayısını şişirir ve saf özdeşlik kestirmeleri darboğaz yapılarının verimli kalması için kritik öneme sahiptir.

Sonuçlar

ImageNet Sınıflandırması:
- ResNet-34, plain-34 mimarisinden top-1 hatasında %3,5 daha iyi performans gösterir (%25,03'e karşı %28,54 10-crop doğrulama hatası) ve eğitimdeki bozulma sorununu çözer.
- ResNet-152, tek modelde %4,49 top-5 doğrulama hatası elde eder (11,3 milyar FLOPs ile 15,3 milyar FLOPs değerine sahip VGG-16'dan daha düşük karmaşıklık).
- ResNet modellerinin bir topluluğu, test kümesinde %3,57 top-5 hatası elde ederek ILSVRC 2015 sınıflandırma yarışmasında 1. sırayı kazanmıştır.
CIFAR-10: ResNet derinlikleri 20, 32, 44, 56 ve 110 katman boyunca sorunsuzca ölçeklenir; ResNet-110, %6,43 test hatasına ulaşır. Sıfır optimizasyon hatasıyla ( $<$ eğitim hatası) deneysel bir 1202 katmanlı ağ eğitilmiştir.
Transfer ve Alt Görevler: Faster R-CNN içinde VGG-16 yerine ResNet-101 kullanılması, MS COCO mAP@[.5, .95] değerini %21,2'den %27,2'ye (%28 göreli artış) ve PASCAL VOC 2007 test mAP değerini %73,2'den %76,4'e çıkarmıştır. Derin artık ağlar ayrıca ImageNet tespiti, ImageNet yerelleştirme, COCO tespiti ve COCO segmentasyonunda da 1.lik elde etmiştir.

Kısıtlar ve açık sorular

Ultra Derin Mimarilerde Aşırı Öğrenme: CIFAR-10 üzerinde 1202 katmanlı model, $<$ eğitim hatasına ulaşmasına rağmen, küçük veri kümesindeki düzenlileştirme (regularization) eksikliği nedeniyle ResNet-110'dan (%6,43) daha yüksek test hatası (%7,93) göstermiştir.
Bozulmanın Teorik Nedeni: Makale, gradyan kaybolmasının sorun olmadığını deneysel olarak göstermekte ve yalın ağların üstel olarak düşük yakınsama oranlarından muzdarip olduğunu öne sürmektedir; ancak optimizasyon dinamiklerinin teorik kanıtlarını gelecekteki çalışmalara bırakmaktadır.
Tek Katmanlı Artıklar: Artık formülasyonu, $F$ yalnızca tek bir katmandan oluştuğunda dikkate değer bir fayda sağlamaz (bu durum $y = W_{1} x + x$ denklemine indirgenir).

Temel terimler

degradation problem: Gradyan kaybolması/patlaması olmamasına rağmen, derin bir yapay sinir ağına daha fazla katman eklemenin daha yüksek eğitim hatasına yol açtığı sezgilere aykırı olgu.
residual learning: Ardışık sinir ağı katmanlarını, doğrudan referanssız bir $H (x)$ eşlemesini öğrenmek yerine, girdilerine göre bir $F (x) = H (x) - x$ artık fonksiyonunu açıkça öğrenecek şekilde yeniden formüle etme.
identity shortcut connection: Girdi vektörünü veya öznitelik haritasını değiştirmeden ileten ve ardışık evrişim katmanlarının çıktısına eleman düzeyinde ekleyen parametresiz bir atlama bağlantısı.
projection shortcut: Girdi ve çıktı kanal derinlikleri veya uzamsal boyutları farklı olduğunda boyutları eşleştirmek için doğrusal bir dönüşüm matrisi veya $1 \times 1$ konvolüsyon ( $W_{s}$ ) kullanan kestirme bağlantı.
bottleneck design: Hesaplama karmaşıklığını azaltmak için $1 \times 1$ katmanlarının öznitelik boyutlarını sıkıştırdığı ve geri yüklediği; $1 \times 1$ , $3 \times 3$ ve $1 \times 1$ konvolüsyonlarından oluşan 3 katmanlı bir artık yapı bloğu.
plain network: Herhangi bir kestirme veya artık bağlantı olmaksızın yalnızca standart konvolüsyon ve havuzlama katmanlarını ardışık olarak dizen temel evrişimli ağ mimarisi.

Sorular

Bozulma sorunu (degradation problem) neden gradyan kaybolmasından kaynaklanmaz?

Ağlar, ileri yayılımda sıfır olmayan sinyal varyanslarını ve geri yayılımda sağlıklı gradyan normlarını koruduğu doğrulanan Batch Normalization ve normalize edilmiş ağırlık ilklendirmesi kullanılarak eğitilmiştir. Dahası, plain-34 gibi daha derin yalın ağlar önemsiz olmayan çözümlere yakınsamayı başarmış, ancak daha sığ olanlara kıyasla daha yüksek eğitim hatasıyla yakınsamıştır.

ResNet özdeşlik kestirmeleri ile Highway Networks arasındaki fark nedir?

Highway Networks, kapanabilen ve katmanları artık olmayan hale getirebilen veriye dayalı, parametreli kapılama (gating) fonksiyonları kullanır; oysa ResNet kestirmeleri hiçbir zaman kapanmayan parametresiz özdeşlik eşlemeleridir ve süreç boyunca artık öğrenmeyi garanti eder.

Özdeşlik kestirmesi yerine ne zaman projeksiyon kullanılır?

Projeksiyon ( $1 \times 1$ konvolüsyonlar kullanılarak), temel olarak girdi ve çıktı öznitelik boyutları eşleşmediğinde (örneğin kanallar ikiye katlanıp uzamsal çözünürlük 2 adımla yarıya indirildiğinde) kullanılır. Boyutların eşleştiği durumlar için özdeşlik eşlemesi yeterlidir, daha ekonomiktir ve darboğaz birimlerinde parametre şişmesini önler.

ResNet-1202, CIFAR-10 üzerinde neden ResNet-110'dan daha kötü performans gösterdi?

ResNet-1202, optimizasyon başarısızlığından ziyade aşırı öğrenmeden (overfitting) muzdaripti. Başarılı bir şekilde $<$ eğitim hatasına ulaştı, ancak 19,4 milyon parametresi, dropout gibi ek düzenlileştirme teknikleri olmadan küçük CIFAR-10 veri kümesi için gereksiz derecede büyüktü.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku