U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

शोध पत्र · arXiv 1505.04597

U-Net: बायोमेडिकल इमेज सेगमेंटेशन के लिए कनवोल्यूशनल नेटवर्क्स

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

प्रकाशित 2015-05-18cs.CV arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 बहुत छोटे एनोटेटेड डेटासेट्स का उपयोग करके उच्च-सटीकता वाले पिक्सेल-वाइज़ बायोमेडिकल सेगमेंटेशन नेटवर्क्स को एंड-टू-एंड प्रशिक्षित करना।
🔧 संदर्भ के लिए एक contracting path, सटीक स्थानीयकरण हेतु स्किप कनेक्शन के साथ एक expansive path, अनपैडेड valid convolutions, इलास्टिक डिफॉर्मेशन ऑग्मेंटेशन और सेपरेशन बॉर्डर वेट मैप को संयोजित करने वाला एक सममित u-आकार का कनवोल्यूशनल आर्किटेक्चर।
📈 ISBI EM सेगमेंटेशन चैलेंज पर स्लाइडिंग-विंडो विधियों से बेहतर प्रदर्शन (warping error 0.000353) और PhC-U373 पर 0.9203 IOU तथा DIC-HeLa पर 0.7756 IOU के साथ ISBI Cell Tracking Challenge 2015 जीता।

सार

इस बात पर व्यापक सहमति है कि डीप नेटवर्क्स के सफल प्रशिक्षण के लिए हजारों एनोटेट किए गए ट्रेनिंग नमूनों की आवश्यकता होती है। इस शोधपत्र में, हम एक ऐसा नेटवर्क और प्रशिक्षण रणनीति प्रस्तुत करते हैं जो उपलब्ध एनोटेटेड नमूनों का अधिक कुशलता से उपयोग करने के लिए डेटा ऑग्मेंटेशन के व्यापक उपयोग पर निर्भर करती है। इस आर्किटेक्चर में संदर्भ (context) कैप्चर करने के लिए एक contracting path और सटीक स्थानीयकरण (localization) सक्षम करने के लिए एक सममित (symmetric) expanding path शामिल है। हम दिखाते हैं कि ऐसे नेटवर्क को बहुत कम छवियों के साथ एंड-टू-एंड प्रशिक्षित किया जा सकता है और यह इलेक्ट्रॉन माइक्रोस्कोपिक स्टैक्स में न्यूरोनल संरचनाओं के सेगमेंटेशन के लिए ISBI चैलेंज में पूर्व सर्वोत्तम विधि (स्लाइडिंग-विंडो कनवोल्यूशनल नेटवर्क) से बेहतर प्रदर्शन करता है। ट्रांसमिटेड लाइट माइक्रोस्कोपी छवियों (फेज कंट्रास्ट और DIC) पर प्रशिक्षित इसी नेटवर्क का उपयोग करके हमने इन श्रेणियों में ISBI सेल ट्रैकिंग चैलेंज 2015 को बड़े अंतर से जीता। इसके अलावा, यह नेटवर्क काफी तेज़ है। एक हालिया GPU पर 512x512 छवि का सेगमेंटेशन एक सेकंड से भी कम समय लेता है। इसका पूर्ण कार्यान्वयन (Caffe पर आधारित) और प्रशिक्षित नेटवर्क्स http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net पर उपलब्ध हैं।

मूल सार (अंग्रेज़ी)

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

पढ़ने की गाइड

समस्या और प्रेरणा

बायोमेडिकल इमेज सेगमेंटेशन के लिए इमेज-लेवल वर्गीकरण के बजाय सघन, पिक्सेल-लेवल वर्गीकरण (स्थानीयकरण) की आवश्यकता होती है। इस क्षेत्र में दो बुनियादी चुनौतियाँ प्रमुख हैं:

एनोटेट किए गए ट्रेनिंग डेटा की कमी होती है, जिसमें अक्सर हज़ारों या लाखों के बजाय केवल कुछ दर्जन छवियाँ ही शामिल होती हैं।
पिछली डीप लर्निंग विधियाँ, जैसे कि पैच-आधारित स्लाइडिंग-विंडो कनवोल्यूशनल नेटवर्क्स (उदा., Cireşan et al.), अत्यधिक रिडंडेंसी, धीमे इनफेरेंस, और पैच संदर्भ व स्थानीयकरण सटीकता के बीच एक अंतर्निहित समझौते (trade-off) से जूझती थीं।

लेखक एक ऐसा एंड-टू-एंड फुली कनवोल्यूशनल नेटवर्क बनाना चाहते थे जो एक साथ वैश्विक संदर्भ और बारीक स्थानीय विवरणों को कैप्चर कर सके, मनमाने ढंग से बड़ी छवियों को बिना किसी रुकावट के प्रोसेस कर सके, और अत्यंत सीमित डेटा से सफलतापूर्वक प्रशिक्षित हो सके।

मुख्य विचार

सममित U-आकार आर्किटेक्चर (Symmetric U-Shaped Architecture): यह contracting (डाउनसैंपलिंग) एनकोडर को संदर्भ को ऊपर भेजने के लिए कई फीचर चैनलों से लैस एक समान रूप से समर्थ expansive (अपसैंपलिंग) डिकोडर के साथ मिलाकर फुली कनवोल्यूशनल नेटवर्क्स का विस्तार करता है।
स्किप कनेक्शन्स (Skip Connections): contracting path से उच्च-रिज़ॉल्यूशन फीचर मैप्स को कॉपी किया जाता है और expansive path में अपसैंपल किए गए फीचर मैप्स के साथ (क्रॉपिंग के बाद) जोड़ा (concatenate) जाता है, जो पूलिंग के दौरान खोए सटीक स्थानिक स्थानीयकरण विवरण प्रदान करते हैं।
वैलिड कनवोल्यूशन के साथ ओवरलैप-टाइल रणनीति (Overlap-Tile Strategy with Valid Convolutions): नेटवर्क अनपैडेड कनवोल्यूशन का उपयोग करता है। बड़े चित्रों पर GPU मेमोरी सीमाओं को दरकिनार करते हुए, छवियों को टाइल करके और मिररिंग के माध्यम से अनुपलब्ध संदर्भ का एक्सट्रापोलेशन करके बॉर्डर क्षेत्रों का सहजता से अनुमान लगाया जाता है।
इलास्टिक डिफॉर्मेशन ऑग्मेंटेशन (Elastic Deformation Augmentation): मोटे यादृच्छिक ग्रिड्स के माध्यम से उत्पन्न यथार्थवादी, सुचारू इलास्टिक डिफॉर्मेशन नेटवर्क को विरूपण निश्चरता (deformation invariance) सिखाते हैं, जिससे आवश्यक ट्रेनिंग नमूनों की संख्या में भारी कमी आती है।
सेपरेशन बॉर्डर लॉस वेटिंग (Separation Border Loss Weighting): पूर्व-गणना किया गया पिक्सेल-वाइज़ वेट मैप एक ही वर्ग की आपस में स्पर्श करने वाली कोशिकाओं के बीच बैकग्राउंड बॉर्डर्स पर त्रुटियों को दंडित करता है, जिससे अलग-अलग उदाहरणों (instances) का पृथक्करण संभव होता है।

विधि

नेटवर्क संरचना

नेटवर्क में 23 कनवोल्यूशनल लेयर्स हैं जो दो पाथ में व्यवस्थित हैं:

Contracting Path: दो $3 \times 3$ अनपैडेड कनवोल्यूशन (प्रत्येक के बाद एक ReLU) और स्ट्राइड 2 के साथ $2 \times 2$ मैक्स पूलिंग के दोहराए गए ब्लॉक्स। प्रत्येक पूलिंग चरण में फीचर चैनल दोगुने हो जाते हैं।
Expansive Path: अपसैंपलिंग ऑपरेशन के दोहराए गए ब्लॉक्स, जिसके बाद फीचर चैनलों को आधा करने वाला एक $2 \times 2$ कनवोल्यूशन ("up-convolution"), समान रिज़ॉल्यूशन के क्रॉप किए गए contracting फीचर मैप के साथ संयोजन (concatenation), और इसके बाद ReLUs युक्त दो $3 \times 3$ कनवोल्यूशन।
अंतिम लेयर (Final Layer): एक $1 \times 1$ कनवोल्यूशन 64-चैनल फीचर निरूपण को सीधे वांछित $K$ क्लास स्कोर्स पर मैप करता है।

लॉस फ़ंक्शन और बॉर्डर वेटिंग

नेटवर्क को पिक्सेल-वाइज़ सॉफ्टमैक्स क्रॉस-एन्ट्रॉपी के साथ प्रशिक्षित किया जाता है: $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ जहाँ $a_{k} (x)$ पिक्सेल $x$ पर फीचर चैनल $k$ के लिए एक्टिवेशन को दर्शाता है, $ℓ (x)$ ग्राउंड ट्रुथ क्लास लेबल है, और $w (x)$ एक स्थानिक लॉस वेट मैप है।

क्लास आवृत्तियों को संतुलित करने और स्पर्श करने वाली वस्तुओं को अलग करने के लिए, $w (x)$ को इस प्रकार परिभाषित किया गया है: $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ जहाँ $w_{c} (x)$ क्लास आवृत्तियों को संतुलित करता है, $d_{1} (x)$ निकटतम सेल की सीमा से दूरी है, $d_{2} (x)$ दूसरी निकटतम सेल की सीमा से दूरी है, और लेखक $w_{0} = 10$ तथा $σ \approx 5$ पिक्सेल सेट करते हैं।

ऑप्टिमाइज़ेशन

बैच साइज़ 1 (एकल बड़ी इमेज टाइल) और उच्च मोमेंटम (0.99) के साथ Caffe में SGD का उपयोग करके प्रशिक्षित किया गया।
वेट्स को मानक विचलन $2/ N$ वाले गाऊसी वितरण से इनिशियलाइज़ किया गया, जहाँ $N$ प्रति न्यूरॉन इनकमिंग नोड्स की संख्या है।

परिणाम

ISBI EM सेगमेंटेशन चैलेंज (न्यूरोनल संरचनाएं):
- $0.000353$ की warping error, $0.0382$ की Rand error, और $0.0611$ की पिक्सेल त्रुटि (7 रोटेटेड संस्करणों पर औसत, बिना किसी अतिरिक्त पोस्ट-प्रोसेसिंग के) के साथ सर्वश्रेष्ठ रैंक हासिल की।
- Cireşan et al. द्वारा पूर्व अत्याधुनिक परिणाम (warping error $0.000420$ , Rand error $0.0504$ ) को पीछे छोड़ दिया।
ISBI Cell Tracking Challenge 2015:
- PhC-U373 (फेज कंट्रास्ट): दूसरे सर्वश्रेष्ठ एल्गोरिदम के $0.83$ की तुलना में $0.9203$ का औसत Intersection over Union (IOU) हासिल किया।
- DIC-HeLa (डिफरेंशियल इंटरफेरेंस कंट्रास्ट): दूसरे सर्वश्रेष्ठ एल्गोरिदम के $0.46$ की तुलना में $0.7756$ का औसत IOU हासिल किया।
दक्षता: आधुनिक GPU पर $512 \times 512$ छवि को सेगमेंट करने में एक सेकंड से भी कम समय लगता है, जिसमें NVIDIA Titan GPU (6 GB) पर कुल प्रशिक्षण समय लगभग 10 घंटे लगता है।

सीमाएं और खुले प्रश्न

अनपैडेड कनवोल्यूशन और क्रॉपिंग: क्योंकि कनवोल्यूशन valid (अनपैडेड) होते हैं, आउटपुट टाइलें इनपुट टाइलों से अनिवार्य रूप से छोटी होती हैं, जिसके लिए सभी पूलिंग चरणों में $2$ से विभाज्य इनपुट टाइल आयामों के सावधानीपूर्वक चयन और छवि सीमाओं पर मिररिंग की आवश्यकता होती है।
ह्यूरिस्टिक वेट्स के माध्यम से इंस्टेंस सेपरेशन: स्पर्श करने वाले उदाहरणों को अलग करना एंड-टू-एंड इंस्टेंस एम्बेडिंग या डिटेक्शन शाखाओं के बजाय हाथ से तैयार किए गए मॉर्फोलॉजिकल वेट मैप्स पर निर्भर करता है।
2D-विशिष्ट डिज़ाइन: यह शोधपत्र 2D स्लाइस पर केंद्रित है, जिससे वॉल्यूमेट्रिक 3D बायोमेडिकल अधिग्रहणों के लिए अनुकूलन आगामी शोध के लिए खुला रह जाता है।

मुख्य शब्द

contracting path: U-Net का एनकोडर भाग जो संदर्भ को कैप्चर करने और उच्च-स्तरीय फीचर निरूपण निकालने के लिए अनपैडेड 3x3 कनवोल्यूशन और मैक्स पूलिंग को बार-बार लागू करता है।
expansive path: U-Net का सममित डिकोडर भाग जो फीचर मैप्स को अपसैंपल करता है, चैनल आयामों को कम करता है, और सटीक स्थानिक सेगमेंटेशन का पुनर्निर्माण करता है।
up-convolution: अपसैंपलिंग के बाद लागू किया गया एक 2x2 कनवोल्यूशन जो संयोजन (concatenation) से पहले फीचर चैनलों की संख्या को आधा कर देता है।
overlap-tile strategy: एक इनफेरेंस और प्रशिक्षण दृष्टिकोण जो मनमाने ढंग से बड़ी छवियों को ओवरलैपिंग टाइलों में विभाजित करता है, अनपैडेड कनवोल्यूशन के लिए आवश्यक संदर्भ प्रदान करने हेतु सीमा क्षेत्रों को मिरर करता है।
elastic deformations: जैविक ऊतकों की विविधताओं का अनुकरण करने के लिए बाइक्यूबिक इंटरपोलेशन के माध्यम से मोटे ग्रिड पर सुचारू विस्थापन वैक्टर उत्पन्न करने वाली डेटा ऑग्मेंटेशन तकनीक।
weight map: स्पर्श करने वाली वस्तुओं को अलग करने के लिए क्लास-आवृत्ति संतुलन और दो निकटतम कोशिकाओं की दूरी पर आधारित घातीय दंड को संयोजित करने वाला स्थानिक रूप से परिवर्तनशील लॉस वेटिंग फ़ंक्शन।
warping error: ISBI EM चैलेंज में उपयोग किया जाने वाला एक सेगमेंटेशन मूल्यांकन मीट्रिक जो टोपोलॉजिकल शुद्धता का आकलन करता है, जैसे कि अखंड न्यूरोनल झिल्लियाँ।
fully convolutional network: पूरी तरह से कनवोल्यूशनल और पूलिंग ऑपरेशन्स से बना न्यूरल नेटवर्क जिसमें फुली कनेक्टेड लेयर्स नहीं होती हैं, जिससे परिवर्तनीय इनपुट आकारों पर सघन भविष्यवाणी संभव होती है।

प्रश्न

स्किप कनेक्शन्स में जोड़ने (concatenation) से पहले U-Net फीचर मैप्स को क्रॉप क्यों करता है?

चूँकि U-Net valid (अनपैडेड) कनवोल्यूशन का उपयोग करता है, प्रत्येक कनवोल्यूशन बॉर्डर पिक्सेल द्वारा फीचर मैप का आकार कम कर देता है। Contracting फीचर मैप को क्रॉप करने से यह सुनिश्चित होता है कि इसके स्थानिक आयाम जोड़ने के लिए अपसैंपल किए गए फीचर मैप से मेल खाते हैं।

इनफेरेंस के दौरान U-Net बड़ी छवियों के बॉर्डर्स को कैसे संभालता है?

U-Net एक ओवरलैप-टाइल रणनीति लागू करता है: एक टाइल के वैध आंतरिक क्षेत्र की भविष्यवाणी करने के लिए, आसपास के प्रासंगिक पिक्सेल इनपुट के रूप में प्रदान किए जाते हैं, और छवि सीमाओं के बाहर किसी भी अनुपलब्ध डेटा को मिररिंग द्वारा एक्सट्रापोलेट किया जाता है।

U-Net एक-दूसरे को छूने वाली कोशिकाओं को कैसे अलग करता है?

यह लॉस फ़ंक्शन में एक पूर्व-गणना किए गए वेट मैप का उपयोग करता है जो निकटतम और दूसरी निकटतम सेल सीमाओं के बीच स्थित बैकग्राउंड पिक्सेल पर एक बड़ा घातीय दंड (exponential penalty) जोड़ता है, जिससे नेटवर्क को पतली सेपरेशन सीमाएं बनाए रखने के लिए विवश होना पड़ता है।

प्रशिक्षण के दौरान बैच का आकार 1 पर क्यों सेट किया गया है?

लेखकों ने उपलब्ध GPU मेमोरी (6 GB NVIDIA Titan) के भीतर संदर्भ को अधिकतम करने के लिए बड़े बैच आकारों की तुलना में बड़ी छवि टाइलों को चुना, और 0.99 के उच्च SGD मोमेंटम का उपयोग करके एकल-टाइल बैच आकार की भरपाई की।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें