U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

الأوراق البحثية · arXiv 1505.04597

U-Net: شبكات تلافيفية لتجزئة الصور الطبية الحيوية

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

تاريخ النشر 2015-05-18cs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تدريب شبكات تجزئة طبية حيوية عالية الدقة على مستوى البكسل من البداية إلى النهاية باستخدام مجموعات بيانات موسومة صغيرة جداً.
🔧 بنية تلافيفية متماثلة على شكل حرف U تجمع بين مسار متقلص للسياق، ومسار توسعي بوصلات تخطي للتحديد الدقيق للمواقع، والتفافات صالحة بدون حشو، وتوليد بيانات بالتشوه المرن، وخريطة أوزان لحدود الفصل.
📈 التفوق على طرق النوافذ المنزلقة في تحدي تجزئة المجهر الإلكتروني ISBI (خطأ التشويه 0.000353) والفوز بتحدي ISBI لتتبع الخلايا لعام 2015 بمعدل IOU قدره 0.9203 على PhC-U373 و0.7756 على DIC-HeLa.

الملخص

هناك إجماع واسع على أن التدريب الناجح للشبكات العميقة يتطلب آلافاً عديدة من عينات التدريب الموسومة. في هذه الورقة، نقدم شبكة واستراتيجية تدريب تعتمدان على الاستخدام المكثف لزيادة البيانات (data augmentation) للاستفادة من العينات الموسومة المتاحة بكفاءة أكبر. تتكون البنية من مسار متقلص لالتقاط السياق ومسار توسعي متماثل يتيح تحديد المواقع بدقة. نوضح أن مثل هذه الشبكة يمكن تدريبها من البداية إلى النهاية باستخدام عدد قليل جداً من الصور وتتفوق على أفضل طريقة سابقة (شبكة تلافيفية تعتمد على النافذة المنزلقة) في تحدي ISBI لتجزئة البنى العصبية في مقاطع المجهر الإلكتروني. وباستخدام الشبكة نفسها المدربة على صور الفحص المجهري بالضوء النافذ (تباين الطور وDIC)، فزنا بتحدي تتبع الخلايا ISBI لعام 2015 في هذه الفئات بفارق كبير. علاوة على ذلك، الشبكة سريعة؛ حيث تستغرق تجزئة صورة بحجم 512×512 أقل من ثانية على وحدة معالجة رسومات حديثة. التنفيذ الكامل (المستند إلى Caffe) والشبكات المدربة متاحة على http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

الملخص الأصلي (بالإنجليزية)

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

دليل القراءة

المشكلة والدافع

تتطلب تجزئة الصور الطبية الحيوية تصنيفاً كثيفاً على مستوى البكسل (تحديد الموضع) بدلاً من التصنيف على مستوى الصورة بأكملها. ويهيمن تحديان أساسيان على هذا المجال:

ندرة بيانات التدريب الموسومة، والتي غالباً ما تتكون من بضع عشرات من الصور فقط بدلاً من الآلاف أو الملايين.
عانت طرق التعلم العميق السابقة، مثل الشبكات التلافيفية المعتمدة على النوافذ المنزلقة للرقع (مثل Cireşan et al.)، من تكرار حسابي كبير، وبطء في الاستدلال، ومفاضلة متأصلة بين سياق الرقعة ودقة تحديد الموضع.

سعى المؤلفون إلى تصميم شبكة تلافيفية بالكامل تعمل من البداية إلى النهاية، يمكنها التقاط السياق العام والتفاصيل المحلية الدقيقة في آن واحد، ومعالجة صور بأحجام عشوائية بسلاسة، والتدرب بنجاح على بيانات محدودة للغاية.

الأفكار الرئيسية

بنية متماثلة على شكل حرف U: توسع الشبكات التلافيفية بالكامل من خلال مطابقة المشفر المتقلص (خفض العينات) بمفكك تشفير توسعي (رفع العينات) معبر بالمثل ومزود بالعديد من قنوات الخصائص لتمرير السياق إلى الأعلى.
وصلات التخطي (Skip Connections): يتم نسخ خرائط الخصائص عالية الدقة من المسار المتقلص ودمجها مع خرائط الخصائص بعد رفع العينات في المسار التوسعي (بعد القص)، مما يوفر تفاصيل التموضع المكاني الدقيقة المفقودة أثناء التجميع (pooling).
استراتيجية تراكب البلاطات مع الالتفافات الصالحة (Overlap-Tile Strategy): تستخدم الشبكة التلافيفات غير المحشوة (بدون padding). يتم التنبؤ بمناطق الحدود بسلاسة عن طريق تقسيم الصور إلى بلاطات واستقراء السياق المفقود عبر الانعكاس المرآتي، متجاوزةً بذلك قيود ذاكرة وحدة معالجة الرسومات عند معالجة الصور الكبيرة.
تعزيز البيانات بالتشوه المرن (Elastic Deformation Augmentation): توليد تشوهات مرنة ناعمة وواقعية عبر شبكات عشوائية خشنة لتعليم الشبكة الثبات ضد التشوه، مما يقلل بشكل كبير من عدد عينات التدريب المطلوبة.
ترجيح دالة الخسارة لحدود الفصل: خريطة أوزان محسوبة مسبقاً على مستوى البكسل تعاقب الأخطاء على حدود الخلفية بين الخلايا المتلامسة من نفس الفئة، مما يتيح فصلاً دقيقاً للحالات المتمايزة (instances).

الطريقة

هيكل الشبكة

تحتوي الشبكة على 23 طبقة تلافيفية منظمة في مسارين:

المسار المتقلص: كتل مكررة من التفافين $3 \times 3$ غير محشوة (يتبع كل منهما ReLU) وتجميع أقصى (max pooling) بحجم $2 \times 2$ مع خطوة (stride) قدرها 2. تتضاعف قنوات الخصائص عند كل خطوة تجميع.
المسار التوسعي: كتل مكررة من عملية رفع العينات تليها عملية التفاف $2 \times 2$ («التفاف علوي») يقلص قنوات الخصائص إلى النصف، ودمج مع خريطة الخصائص المقصوصة من المسار المتقلص ذات الدقة المطابقة، يليهما التفافان $3 \times 3$ متبوعان بـ ReLUs.
الطبقة النهائية: التفاف $1 \times 1$ يعين تمثيلات الخصائص ذات الـ 64 قناة مباشرة إلى درجات الفئات $K$ المطلوبة.

دالة الخسارة وترجيح الحدود

يتم تدريب الشبكة باستخدام دالة الـ softmax عبر الإنتروبيا المتقاطعة لكل بكسل: $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ حيث تمثل $a_{k} (x)$ التنشيط لقناة الخصائص $k$ عند البكسل $x$ ، و $ℓ (x)$ هي تسمية الفئة الحقيقية، و $w (x)$ هي خريطة أوزان الخسارة المكانية.

ولموازنة ترددات الفئات وفصل الكائنات المتلامسة، تُعرَّف $w (x)$ على النحو التالي: $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ حيث توازن $w_{c} (x)$ ترددات الفئات، و $d_{1} (x)$ هي المسافة إلى حدود أقرب خلية، و $d_{2} (x)$ هي المسافة إلى حدود ثاني أقرب خلية، وقد حدد المؤلفون $w_{0} = 10$ و $σ \approx 5$ بكسل.

التحسين

تم التدريب باستخدام انحدار التدرج العشوائي (SGD) في إطار Caffe بحجم دفعة 1 (بلاطة صورة واحدة كبيرة) وزخم عالٍ (0.99).
تمت تهيئة الأوزان من توزيع غاوسي بانحراف معياري $2/ N$ حيث يمثل $N$ عدد العقد الواردة لكل خلية عصبية.

النتائج

تحدي ISBI لتجزئة المجهر الإلكتروني (البنى العصبية):
- حققت الشبكة أفضل تصنيف مع خطأ تشويه قدره $0.000353$ ، وخطأ Rand قدره $0.0382$ ، وخطأ بكسل قدره $0.0611$ (متوسط عبر 7 نسخ مدارة، بدون معالجة لاحقة إضافية).
- تفوقت على أفضل نتائج سابقة حققها Cireşan et al. (خطأ التشويه $0.000420$ ، وخطأ Rand قدره $0.0504$ ).
تحدي ISBI لتتبع الخلايا 2015:
- PhC-U373 (تباين الطور): حققت متوسط تقاطع على اتحاد (IOU) قدره $0.9203$ ، مقارنة بـ $0.83$ للخوارزمية صاحبة المركز الثاني.
- DIC-HeLa (تباين التداخل التفاضلي): حققت متوسط IOU قدره $0.7756$ ، مقارنة بـ $0.46$ للخوارزمية صاحبة المركز الثاني.
الكفاءة: تستغرق تجزئة صورة بحجم $512 \times 512$ أقل من ثانية على وحدة معالجة رسومات حديثة، مع استغراق إجمالي وقت التدريب حوالي 10 ساعات على وحدة NVIDIA Titan GPU (6 جيجابايت).

القيود والأسئلة المفتوحة

الالتفافات غير المحشوة والقص: نظراً لأن الالتفافات صالحة (بدون حشو)، فإن بلاطات الإخراج أصغر حتماً من بلاطات الإدخال، مما يتطلب اختياراً دقيقاً لأبعاد بلاطة الإدخال لتكون قابلة للقسمة على $2$ عبر جميع خطوات التجميع مع تطبيق الانعكاس المرآتي عند حدود الصورة.
فصل الحالات عبر أوزان تقريبية: يعتمد فصل الحالات المتلامسة على خرائط أوزان مورفولوجية مصممة يدوياً بدلاً من التضمينات المباشرة للحالات أو فروع الكشف المدربة من البداية إلى النهاية.
تصميم مخصص لثنائي الأبعاد: تركز الورقة على المقاطع ثنائية الأبعاد، تاركة تكييف النموذج لبيانات التصوير الطبي الحيوي الحجمية ثلاثية الأبعاد للأبحاث اللاحقة.

المصطلحات الرئيسية

contracting path (المسار المتقلص): نصف المشفر في شبكة U-Net الذي يطبق بشكل متكرر التفافات 3x3 غير محشوة وتجميعاً أقصى لالتقاط السياق واستخراج تمثيلات الخصائص عالية المستوى.
expansive path (المسار التوسعي): نصف مفكك التشفير المتماثل في شبكة U-Net الذي يقوم برفع عينات خرائط الخصائص، وتقليل أبعاد القنوات، وإعادة بناء تجزئات مكانية دقيقة.
up-convolution (التفاف علوي): عملية التفاف 2x2 تُطبق بعد رفع العينات لتقليص عدد قنوات الخصائص إلى النصف قبل الدمج.
overlap-tile strategy (استراتيجية تراكب البلاطات): أسلوب للاستدلال والتدريب يقسم الصور الكبيرة عشوائياً إلى بلاطات متداخلة، مع عكس مناطق الحدود لتوفير السياق اللازم للالتفافات غير المحشوة.
elastic deformations (التشوهات المرنة): تقنية لزيادة البيانات تولد متجهات إزاحة ناعمة على شبكة خشنة عبر الاستيفاء ثنائي التكعيب لمحاكاة الاختلافات في الأنسجة البيولوجية.
weight map (خريطة الأوزان): دالة ترجيح للخسارة متغيرة مكانياً تجمع بين موازنة ترددات الفئات وعقوبة أسية تستند إلى المسافات لأقرب خليتين لفصل الكائنات المتلامسة.
warping error (خطأ التشويه): مقياس لتقييم التجزئة يُستخدم في تحدي ISBI EM لتقييم الصحة الطوبولوجية، مثل الأغشية العصبية غير المتقطعة.
fully convolutional network (شبكة تلافيفية بالكامل): شبكة عصبية تتكون كلياً من عمليات الالتفاف والتجميع دون طبقات متصلة بالكامل، مما يتيح التنبؤ الكثيف على مدخلات ذات أحجام متغيرة.

أسئلة شائعة

لماذا تقوم U-Net بقص خرائط الخصائص قبل الدمج في وصلات التخطي؟

نظراً لأن U-Net تستخدم التفافات صالحة (بدون حشو)، فإن كل التفاف يقلل من حجم خريطة الخصائص بمقدار بكسلات الحدود. ويضمن قص خريطة الخصائص من المسار المتقلص تطابق أبعادها المكانية مع خريطة الخصائص المرفوعة عيناتُها تمهيداً لدمجهما.

كيف تتعامل U-Net مع حدود الصور الكبيرة أثناء الاستدلال؟

تطبق U-Net استراتيجية تراكب البلاطات: للتنبؤ بالمنطقة الداخلية الصالحة لبلاطة ما، يتم تقديم بكسلات السياق المحيطة كمدخلات، ويتم استقراء أي بيانات مفقودة خارج حدود الصورة عن طريق الانعكاس المرآتي.

كيف تفصل U-Net الخلايا المتلامسة؟

تستخدم خريطة أوزان محسوبة مسبقاً في دالة الخسارة تضيف عقوبة أسية كبيرة لبكسلات الخلفية الواقعة بين حدود أقرب خليتين، مما يجبر الشبكة على تعلم حدود فصل دقيقة.

لماذا تم ضبط حجم الدفعة على 1 أثناء التدريب؟

فضل المؤلفون بلاطات الصور الكبيرة على أحجام الدفعات الكبيرة لزيادة السياق إلى أقصى حد ضمن ذاكرة وحدة معالجة الرسومات المتاحة (6 جيجابايت NVIDIA Titan)، وعوضوا حجم الدفعة المكون من بلاطة واحدة باستخدام زخم SGD عالٍ قدره 0.99.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي