U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

Articles · arXiv 1505.04597

U-Net : Réseaux convolutionnels pour la segmentation d'images biomédicales

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

Publié le 2015-05-18cs.CV arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Entraîner de bout en bout des réseaux de segmentation biomédicale haute précision au niveau du pixel à partir de très petits jeux de données annotés.
🔧 Une architecture convolutionnelle symétrique en forme de U combinant un chemin contractant pour le contexte, un chemin expansif avec connexions de saut pour une localisation précise, des convolutions valides sans remplissage, une augmentation par déformation élastique et une carte de poids pour la séparation des bordures.
📈 Dépassement des méthodes à fenêtre glissante sur le défi de segmentation ISBI EM (erreur de déformation de 0,000353) et victoire au défi ISBI Cell Tracking 2015 avec un IOU de 0,9203 sur PhC-U373 et de 0,7756 sur DIC-HeLa.

Résumé

Il est largement admis que l'entraînement réussi de réseaux profonds nécessite plusieurs milliers d'échantillons d'apprentissage annotés. Dans cet article, nous présentons un réseau et une stratégie d'entraînement qui s'appuient sur une utilisation intensive de l'augmentation de données pour exploiter plus efficacement les échantillons annotés disponibles. L'architecture se compose d'un chemin contractant pour capturer le contexte et d'un chemin d'expansion symétrique permettant une localisation précise. Nous montrons qu'un tel réseau peut être entraîné de bout en bout à partir de très peu d'images et surpasse la meilleure méthode précédente (un réseau convolutionnel à fenêtre glissante) lors du défi ISBI pour la segmentation de structures neuronales dans des piles de microscopie électronique. En utilisant le même réseau entraîné sur des images de microscopie optique en lumière transmise (contraste de phase et DIC), nous avons remporté le défi ISBI cell tracking 2015 dans ces catégories avec une large avance. De plus, le réseau est rapide. La segmentation d'une image de 512x512 prend moins d'une seconde sur un GPU récent. L'implémentation complète (basée sur Caffe) et les réseaux entraînés sont disponibles sur http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

Résumé original (anglais)

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

Guide de lecture

Problématique et motivation

La segmentation d'images biomédicales requiert une classification dense au niveau du pixel (localisation) plutôt qu'une simple catégorisation à l'échelle de l'image. Deux défis fondamentaux dominent ce domaine :

Les données d'entraînement annotées sont rares, se limitant souvent à quelques dizaines d'images au lieu de milliers ou de millions.
Les méthodes d'apprentissage profond antérieures, telles que les réseaux convolutionnels à fenêtre glissante par patchs (ex. Cireşan et al.), souffraient d'une forte redondance, d'une inférence lente et d'un compromis inhérent entre contexte du patch et précision de localisation.

Les auteurs ont cherché à concevoir un réseau entièrement convolutionnel de bout en bout capable de capturer simultanément le contexte global et les détails locaux fins, de traiter de manière transparente des images de taille arbitraire et de s'entraîner avec succès sur des données extrêmement limitées.

Idées clés

Architecture symétrique en U : Étend les réseaux entièrement convolutionnels en associant à l'encodeur contractant (sous-échantillonnage) un décodeur expansif (suréchantillonnage) tout aussi expressif, doté de nombreux canaux de caractéristiques pour propager le contexte vers les résolutions supérieures.
Connexions de saut (Skip Connections) : Les cartes de caractéristiques à haute résolution du chemin contractant sont copiées et concaténées avec les cartes de caractéristiques suréchantillonnées dans le chemin expansif (après recadrage), apportant les détails spatiaux précis perdus lors du pooling.
Stratégie de tuilage avec chevauchement et convolutions valides : Le réseau utilise des convolutions sans remplissage (unpadded). Les régions frontalières sont prédites de manière fluide par pavage et extrapolation du contexte manquant par symétrie miroir, contournant ainsi les limites de mémoire GPU sur les grandes images.
Augmentation par déformation élastique : Des déformations élastiques réalistes et lisses générées via des grilles aléatoires grossières apprennent au réseau l'invariance aux déformations, réduisant drastiquement le nombre d'échantillons d'entraînement requis.
Pondération de la perte sur les bordures de séparation : Une carte de poids calculée a priori pénalise fortement les erreurs sur les bordures d'arrière-plan entre cellules en contact de même classe, permettant une séparation nette des instances.

Méthode

Structure du réseau

Le réseau comprend 23 couches convolutionnelles réparties en deux chemins :

Chemin contractant : Blocs répétés de deux convolutions $3 \times 3$ sans remplissage (chacune suivie d'une ReLU) et d'un max pooling $2 \times 2$ avec un pas (stride) de 2. Le nombre de canaux de caractéristiques double à chaque étape de pooling.
Chemin expansif : Blocs répétés d'une opération de suréchantillonnage suivie d'une convolution $2 \times 2$ (« up-convolution ») divisant par deux les canaux de caractéristiques, d'une concaténation avec la carte de caractéristiques contractante recadrée de résolution correspondante, et de deux convolutions $3 \times 3$ suivies de ReLUs.
Couche finale : Une convolution $1 \times 1$ projette directement les représentations de caractéristiques à 64 canaux vers les scores des $K$ classes souhaitées.

Fonction de perte et pondération des bordures

Le réseau est entraîné avec une perte d'entropie croisée softmax pixel par pixel : $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ où $a_{k} (x)$ désigne l'activation pour le canal de caractéristiques $k$ au pixel $x$ , $ℓ (x)$ est l'étiquette de classe de vérité terrain, et $w (x)$ est une carte de pondération spatiale de la perte.

Pour équilibrer les fréquences de classe et séparer les objets en contact, $w (x)$ est définie par : $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ où $w_{c} (x)$ équilibre les fréquences de classe, $d_{1} (x)$ est la distance à la bordure de la cellule la plus proche, $d_{2} (x)$ est la distance à la bordure de la deuxième cellule la plus proche, avec $w_{0} = 10$ et $σ \approx 5$ pixels.

Optimisation

Entraîné avec SGD dans Caffe, avec une taille de lot de 1 (une seule grande tuile d'image) et une quantité de mouvement (momentum) élevée de 0,99.
Poids initialisés selon une distribution gaussienne d'écart-type $2/ N$ , où $N$ est le nombre de nœuds entrants par neurone.

Résultats

Défi ISBI EM Segmentation (Structures neuronales) :
- Obtention du meilleur classement avec une erreur de déformation (warping error) de $0, 000353$ , une erreur de Rand de $0, 0382$ et une erreur par pixel de $0, 0611$ (moyenné sur 7 versions tournées, sans post-traitement additionnel).
- Surpasse l'état de l'art précédent de Cireşan et al. (warping error de $0, 000420$ , erreur de Rand de $0, 0504$ ).
Défi ISBI Cell Tracking 2015 :
- PhC-U373 (Contraste de phase) : Obtention d'une intersection sur union (IOU) moyenne de $0, 9203$ , contre $0, 83$ pour le deuxième meilleur algorithme.
- DIC-HeLa (Contraste interférentiel différentiel) : Obtention d'une IOU moyenne de $0, 7756$ , contre $0, 46$ pour le deuxième meilleur algorithme.
Efficacité : La segmentation d'une image $512 \times 512$ prend moins d'une seconde sur un GPU moderne, le temps total d'entraînement étant d'environ 10 heures sur un GPU NVIDIA Titan (6 Go).

Limites et questions ouvertes

Convolutions sans remplissage et recadrage : Comme les convolutions sont valides (sans padding), les tuiles de sortie sont strictement plus petites que les tuiles d'entrée, ce qui impose de choisir des dimensions d'entrée divisibles par $2$ à travers toutes les étapes de pooling et d'utiliser une symétrie miroir aux bords.
Séparation des instances par poids heuristiques : La séparation d'instances contiguës repose sur des cartes de poids morphologiques fabriquées à la main plutôt que sur des représentations vectorielles d'instances ou des branches de détection entraînées de bout en bout.
Conception spécifique à la 2D : L'article se concentre sur des coupes 2D, laissant l'adaptation aux acquisitions biomédicales volumétriques 3D aux travaux futurs.

Termes clés

contracting path: La moitié encodeur de U-Net qui applique de manière répétée des convolutions 3x3 sans remplissage et du max pooling pour capturer le contexte et extraire des représentations de caractéristiques de haut niveau.
expansive path: La moitié décodeur symétrique de U-Net qui suréchantillonne les cartes de caractéristiques, réduit les dimensions de canaux et reconstruit des segmentations spatiales précises.
up-convolution: Une convolution 2x2 appliquée après un suréchantillonnage qui divise par deux le nombre de canaux de caractéristiques avant la concaténation.
overlap-tile strategy: Une stratégie d'inférence et d'entraînement découpant les grandes images en tuiles avec chevauchement, complétant les régions frontalières par symétrie miroir pour fournir le contexte nécessaire aux convolutions sans remplissage.
elastic deformations: Une technique d'augmentation de données générant des vecteurs de déplacement lisses sur une grille grossière via interpolation bicubique afin de simuler les variations des tissus biologiques.
weight map: Une fonction de pondération spatiale de la perte combinant rééquilibrage de fréquence de classe et pénalité exponentielle basée sur les distances aux deux cellules les plus proches pour séparer les objets en contact.
warping error: Une métrique d'évaluation de la segmentation utilisée dans le défi ISBI EM qui évalue la justesse topologique, telle que la continuité des membranes neuronales.
fully convolutional network: Un réseau de neurones composé exclusivement d'opérations de convolution et de pooling sans couches entièrement connectées, permettant une prédiction dense sur des tailles d'entrée variables.

Questions

Pourquoi U-Net recadre-t-il les cartes de caractéristiques avant la concaténation dans les skip connections ?

Comme U-Net utilise des convolutions valides (sans remplissage), chaque convolution réduit la taille spatiale de la carte de caractéristiques des pixels de bordure. Le recadrage de la carte du chemin contractant garantit que ses dimensions correspondent à celle de la carte suréchantillonnée pour la concaténation.

Comment U-Net gère-t-il les bordures des grandes images lors de l'inférence ?

U-Net applique une stratégie de tuilage avec chevauchement (overlap-tile) : pour prédire la zone interne valide d'une tuile, les pixels contextuels environnants sont fournis en entrée, et les données manquantes au-delà des bords de l'image sont extrapolées par réflexion miroir.

Comment U-Net parvient-il à séparer les cellules qui se touchent ?

Il utilise une carte de poids calculée a priori dans la fonction de perte, qui applique une lourde pénalité exponentielle aux pixels d'arrière-plan situés entre les limites de la cellule la plus proche et de la deuxième plus proche, contraignant le réseau à préserver de fines bordures de séparation.

Pourquoi la taille de lot (batch size) est-elle fixée à 1 pendant l'entraînement ?

Les auteurs ont privilégié de grandes tuiles d'image plutôt que de grands lots pour maximiser le contexte pris en compte dans la mémoire GPU disponible (NVIDIA Titan de 6 Go), compensant cette taille de lot unitaire par un momentum SGD élevé de 0,99.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA