U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

Makaleler · arXiv 1505.04597

U-Net: Biyomedikal Görüntü Segmentasyonu için Evrişimli Ağlar

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

Yayımlanma 2015-05-18cs.CV arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Çok küçük etiketli veri kümeleri kullanarak piksel düzeyinde yüksek hassasiyetli biyomedikal segmentasyon ağlarını uçtan uca eğitin.
🔧 Bağlam için daralan bir yol, hassas konumlandırma için atlama bağlantılarına sahip genişleyen bir yol, dolgusuz geçerli evrişimler, elastik deformasyon artırımı ve bir ayırma sınırı ağırlık haritasını birleştiren simetrik u-şekilli evrişimli mimari.
📈 ISBI EM segmentasyon yarışmasında kayan pencereli yöntemleri geride bıraktı (0,000353 warping error) ve PhC-U373 üzerinde 0,9203 IOU ve DIC-HeLa üzerinde 0,7756 IOU ile ISBI Cell Tracking Challenge 2015'i kazandı.

Özet

Derin ağların başarılı bir şekilde eğitilmesinin binlerce etiketli eğitim örneği gerektirdiğine dair yaygın bir uzlaşı vardır. Bu makalede, mevcut etiketli örnekleri daha verimli kullanmak adına veri artırma yöntemlerinin güçlü kullanımına dayanan bir ağ ve eğitim stratejisi sunuyoruz. Mimari, bağlamı yakalayan daralan bir yol ile hassas konumlandırma sağlayan simetrik genişleyen bir yoldan oluşur. Bu tür bir ağın çok az görüntüyle uçtan uca eğitilebileceğini ve elektron mikroskobu yığınlarındaki nöronal yapıların segmentasyonuna yönelik ISBI yarışmasında önceki en iyi yöntemi (kayan pencereli evrişimli ağ) geride bıraktığını gösteriyoruz. Geçirgen ışık mikroskobu görüntüleri (faz kontrast ve DIC) üzerinde eğitilen aynı ağı kullanarak, 2015 ISBI hücre izleme yarışmasını bu kategorilerde büyük bir farkla kazandık. Ayrıca ağ oldukça hızlıdır; 512x512 boyutundaki bir görüntünün segmentasyonu güncel bir GPU üzerinde bir saniyeden kısa sürer. Caffe tabanlı tam uygulama ve eğitilmiş ağlar http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net adresinde mevcuttur.

Orijinal özet (İngilizce)

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

Okuma rehberi

Problem ve motivasyon

Biyomedikal görüntü segmentasyonu, görüntü düzeyinde sınıflandırma yerine yoğun, piksel düzeyinde sınıflandırma (konumlandırma) gerektirir. Bu alanda iki temel zorluk öne çıkar:

Etiketli eğitim verisi son derece kıttır; genellikle binlerce veya milyonlarca görüntü yerine yalnızca birkaç düzine görüntüden oluşur.
Parça tabanlı kayan pencereli evrişimli ağlar (örneğin Cireşan et al.) gibi önceki derin öğrenme yöntemleri; ciddi oranda işlem tekrarı, yavaş çıkarım ve parça bağlamı ile konumlandırma hassasiyeti arasında zorunlu bir ödünleşmeden muzdaripti.

Yazarlar, küresel bağlamı ve ince yerel ayrıntıları aynı anda yakalayabilen, keyfi büyüklükteki görüntüleri kesintisiz işleyebilen ve son derece sınırlı verilerle başarıyla eğitilebilen uçtan uca fully convolutional network geliştirmeyi hedeflemiştir.

Temel fikirler

Simetrik U-Şekilli Mimari: Daralan (downsampling) kodlayıcıyı, bağlamı yukarı taşımak için çok sayıda öznitelik kanalına sahip eşit derecede güçlü genişleyen (upsampling) bir kod çözücüyle eşleştirerek fully convolutional networks yaklaşımını genişletir.
Atlama Bağlantıları (Skip Connections): Daralan yoldan gelen yüksek çözünürlüklü öznitelik haritaları kopyalanır ve genişleyen yoldaki yukarı örneklenmiş öznitelik haritalarıyla (kırpıldıktan sonra) birleştirilir; böylece havuzlama sırasında kaybolan hassas uzamsal konumlandırma ayrıntıları geri kazandırılır.
Valid Evrişimler ile Overlap-Tile Stratejisi: Ağ, dolgusuz (unpadded) evrişimler kullanır. Sınır bölgeleri, döşeme (tiling) ve eksik bağlamı aynalama yoluyla tahmin etme yöntemiyle kesintisiz olarak üretilir; bu da büyük görüntülerdeki GPU bellek sınırlarını aşmayı sağlar.
Elastik Deformasyon Artırımı: Kaba rastgele ızgaralar aracılığıyla üretilen gerçekçi ve pürüzsüz elastik deformasyonlar, ağa deformasyon değişmezliğini öğretir ve gereken eğitim örneği sayısını önemli ölçüde azaltır.
Ayırma Sınırı Kayıp Ağırlıklandırması: Önceden hesaplanmış piksel düzeyindeki ağırlık haritası, aynı sınıftan birbirine temas eden hücreler arasındaki arka plan sınırlarında yapılan hataları cezalandırarak belirgin örnek ayrımı sağlar.

Yöntem

Ağ Yapısı

Ağ, iki yolda düzenlenmiş 23 evrişimli katmandan oluşur:

Daralan Yol (Contracting Path): İki adet $3 \times 3$ dolgusuz evrişim (her biri ReLU ile takip edilir) ve 2 adımlı $2 \times 2$ max pooling işleminden oluşan yinelenen bloklar. Öznitelik kanalları her havuzlama adımında iki katına çıkar.
Genişleyen Yol (Expansive Path): Yukarı örnekleme işlemini takip eden ve öznitelik kanallarını yarıya indiren bir $2 \times 2$ evrişim ("up-convolution"), eşleşen çözünürlükteki kırpılmış daralan öznitelik haritasıyla birleştirme ve ardından ReLU'lar içeren iki adet $3 \times 3$ evrişimden oluşan yinelenen bloklar.
Son Katman: Bir $1 \times 1$ evrişim, 64 kanallı öznitelik temsillerini doğrudan istenen $K$ sınıf skorlarına eşler.

Kayıp Fonksiyonu ve Sınır Ağırlıklandırması

Ağ, piksel düzeyinde softmax çapraz entropi ile eğitilir: $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ burada $a_{k} (x)$ , $x$ pikselindeki $k$ öznitelik kanalı için aktivasyonu, $ℓ (x)$ gerçek sınıf etiketini ve $w (x)$ uzamsal kayıp ağırlık haritasını temsil eder.

Sınıf frekanslarını dengelemek ve birbirine temas eden nesneleri ayırmak için $w (x)$ şu şekilde tanımlanır: $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ burada $w_{c} (x)$ sınıf frekanslarını dengeler, $d_{1} (x)$ en yakın hücrenin sınırına olan mesafeyi, $d_{2} (x)$ ise ikinci en yakın hücrenin sınırına olan mesafeyi belirtir; yazarlar $w_{0} = 10$ ve $σ \approx 5$ piksel olarak belirlemiştir.

Optimizasyon

Caffe üzerinde batch size 1 (tek büyük görüntü karosu) ve yüksek momentum (0,99) ile SGD kullanılarak eğitilmiştir.
Ağırlıklar, standart sapması $2/ N$ olan bir Gauss dağılımından ilklendirilmiştir; burada $N$ , nöron başına gelen girdi düğüm sayısıdır.

Sonuçlar

ISBI EM Segmentation Challenge (Nöronal Yapılar):
- $0, 000353$ warping error, $0, 0382$ Rand error ve $0, 0611$ piksel hatası ile en iyi dereceyi elde etmiştir (7 döndürülmüş versiyon üzerinden ortalaması alınmış, ek art işlem uygulanmamıştır).
- Cireşan et al. tarafından sunulan önceki son teknoloji yöntemi geride bırakmıştır (warping error $0, 000420$ , Rand error $0, 0504$ ).
ISBI Cell Tracking Challenge 2015:
- PhC-U373 (Faz Kontrast): İkinci en iyi algoritmanın $0, 83$ değerine kıyasla $0, 9203$ ortalama Intersection over Union (IOU) elde etmiştir.
- DIC-HeLa (Diferansiyel Girişim Kontrastı): İkinci en iyi algoritmanın $0, 46$ değerine kıyasla $0, 7756$ ortalama IOU elde etmiştir.
Verimlilik: $512 \times 512$ boyutundaki bir görüntünün segmentasyonu modern bir GPU'da bir saniyeden az sürer; toplam eğitim süresi NVIDIA Titan GPU (6 GB) üzerinde yaklaşık 10 saattir.

Sınırlılıklar ve açık sorular

Dolgusuz Evrişimler ve Kırpma: Evrişimler geçerli (dolgusuz) olduğundan, çıktı karoları girdi karolarından kesinlikle daha küçüktür; bu da tüm havuzlama adımlarında $2$ 'ye bölünebilen girdi karo boyutlarının dikkatle seçilmesini ve görüntü sınırlarında aynalamayı gerektirir.
Sezgisel Ağırlıklarla Örnek Ayrımı: Birbirine temas eden örneklerin ayrılması, uçtan uca örnek gömmeleri veya tespit dalları yerine el yapımı morfolojik ağırlık haritalarına dayanır.
2B Odaklı Tasarım: Makale 2B kesitlere odaklanmakta, hacimsel 3B biyomedikal verilere uyarlamayı sonraki araştırmalara bırakmaktadır.

Temel terimler

contracting path: Bağlamı yakalamak ve üst düzey öznitelik temsilleri çıkarmak için art arda dolgusuz 3x3 evrişimler ve max pooling uygulayan U-Net'in kodlayıcı yarısı.
expansive path: Öznitelik haritalarını yukarı örnekleyen, kanal boyutlarını azaltan ve hassas uzamsal segmentasyonları yeniden oluşturan U-Net'in simetrik kod çözücü yarısı.
up-convolution: Yukarı örneklemeden sonra uygulanan ve birleştirmeden önce öznitelik kanallarının sayısını yarıya indiren 2x2 evrişim.
overlap-tile strategy: Keyfi büyüklükteki görüntüleri örtüşen karolara bölen ve dolgusuz evrişimler için gereken bağlamı sağlamak amacıyla sınır bölgelerini aynalayan bir çıkarım ve eğitim yaklaşımı.
elastic deformations: Biyolojik doku varyasyonlarını simüle etmek amacıyla bikübik enterpolasyon yoluyla kaba bir ızgara üzerinde pürüzsüz yer değiştirme vektörleri üreten bir veri artırma tekniği.
weight map: Temas eden nesneleri ayırmak için sınıf frekansı dengelemesini ve en yakın iki hücreye olan mesafelere dayalı üstel bir cezayı birleştiren, uzamsal olarak değişen bir kayıp ağırlıklandırma fonksiyonu.
warping error: ISBI EM yarışmasında kesintisiz nöron zarları gibi topolojik doğruluğu değerlendirmek için kullanılan bir segmentasyon değerlendirme metriği.
fully convolutional network: Tam bağlantılı katmanlar içermeyen, tamamen evrişimli ve havuzlama işlemlerinden oluşan, değişken girdi boyutlarında yoğun tahmin sağlayan bir sinir ağı.

Sorular

U-Net, atlama bağlantılarında birleştirmeden önce öznitelik haritalarını neden kırpar?

U-Net geçerli (dolgusuz) evrişimler kullandığından, her evrişim öznitelik haritası boyutunu sınır pikselleri kadar küçültür. Daralan öznitelik haritasının kırpılması, birleştirme için uzamsal boyutlarının yukarı örneklenmiş öznitelik haritasıyla eşleşmesini sağlar.

U-Net çıkarım sırasında büyük görüntülerin sınırlarını nasıl işler?

U-Net bir overlap-tile stratejisi uygular: Bir karonun geçerli iç bölgesini tahmin etmek için çevreleyen bağlamsal pikseller girdi olarak sağlanır ve görüntü sınırlarının dışındaki eksik veriler aynalama yoluyla tahmin edilir.

U-Net birbirine temas eden hücreleri nasıl ayırır?

Kayıp fonksiyonunda, en yakın ve ikinci en yakın hücre sınırları arasında kalan arka plan piksellerine büyük bir üstel ceza ekleyen ve ağı ince ayırma sınırlarını korumaya zorlayan önceden hesaplanmış bir ağırlık haritası kullanır.

Eğitim sırasında batch size neden 1 olarak belirlenmiştir?

Yazarlar, mevcut GPU belleği (6 GB NVIDIA Titan) dahilinde bağlamı en üst düzeye çıkarmak için büyük toplu boyutlar yerine büyük görüntü karolarını tercih etmiş ve tek karoluk toplu boyutu 0,99 gibi yüksek bir SGD momentumu kullanarak telafi etmiştir.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku