U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

Статьи · arXiv 1505.04597

U-Net: Сверточные сети для сегментации биомедицинских изображений

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

Опубликовано 2015-05-18cs.CV arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Обучение высокоточных сетей попиксельной биомедицинской сегментации end-to-end на крайне малых размеченных наборах данных.
🔧 Симметричная U-образная сверточная архитектура, сочетающая сжимающий путь для контекста, расширяющий путь со skip connections для точной локализации, свертки valid без паддинга, аугментацию упругими деформациями и весовую карту разделения границ.
📈 Превзошла методы скользящего окна на ISBI EM segmentation challenge (warping error 0.000353) и выиграла ISBI Cell Tracking Challenge 2015 с IOU 0.9203 на PhC-U373 и IOU 0.7756 на DIC-HeLa.

Аннотация

Широко распространено мнение, что для успешного обучения глубоких сетей требуются многие тысячи размеченных обучающих примеров. В данной статье мы представляем архитектуру сети и стратегию обучения, основанную на интенсивном использовании аугментации данных для более эффективного применения имеющихся аннотированных изображений. Архитектура состоит из сжимающего пути для захвата контекста и симметричного расширяющего пути, обеспечивающего точную локализацию. Мы показываем, что такую сеть можно обучать end-to-end на крайне малом числе изображений, и она превосходит предыдущий лучший метод (сверточную сеть со скользящим окном) в соревновании ISBI по сегментации нейронных структур на снимках электронной микроскопии. Используя ту же сеть, обученную на изображениях световой микроскопии проходящего света (фазовый контраст и DIC), мы с большим отрывом выиграли соревнование ISBI cell tracking challenge 2015 в этих категориях. Кроме того, сеть работает быстро. Сегментация изображения размером 512x512 занимает менее секунды на современном GPU. Полная реализация (на базе Caffe) и обученные сети доступны по адресу http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

Оригинальная аннотация (англ.)

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

Разбор статьи

Проблема и мотивация

Сегментация биомедицинских изображений требует плотной попиксельной классификации (локализации), а не категоризации изображений в целом. В этой области преобладают две фундаментальные проблемы:

Дефицит размеченных обучающих данных — часто доступно всего несколько десятков изображений вместо тысяч или миллионов.
Предыдущие методы глубокого обучения, такие как сверточные сети со скользящим окном на патчах (например, Cireşan et al.), страдали от высокой избыточности, медленного инференса и неизбежного компромисса между контекстом патча и точностью локализации.

Авторы стремились создать полносверточную сеть end-to-end, способную одновременно улавливать глобальный контекст и мелкие локальные детали, бесшовно обрабатывать изображения произвольно большого размера и успешно обучаться на крайне ограниченных данных.

Ключевые идеи

Симметричная U-образная архитектура: расширяет полносверточные сети, дополняя сжимающий энкодер (downsampling) столь же выразительным расширяющим декодером (upsampling) с большим числом каналов признаков для передачи контекста на верхние уровни.
Пропускные связи (Skip Connections): карты признаков высокого разрешения из сжимающего пути копируются и конкатенируются с масштабированными картами признаков в расширяющем пути (после обрезки), восстанавливая точные пространственные детали, утраченные при пулинге.
Стратегия перекрывающихся тайлов (Overlap-Tile) с валидными свертками: сеть использует свертки без паддинга. Граничные области предсказываются бесшовно путем разбиения на тайлы и экстраполяции недостающего контекста с помощью зеркального отражения, что обходит ограничения памяти GPU при работе с большими изображениями.
Аугментация упругими деформациями: реалистичные плавные упругие деформации, генерируемые с помощью грубых случайных сеток, обучают сеть инвариантности к деформациям, резко сокращая необходимое количество обучающих примеров.
Весовая карта границ разделения: предварительно вычисленная попиксельная карта весов штрафует ошибки на фоновых границах между соприкасающимися клетками одного класса, обеспечивая разделение отдельных экземпляров.

Метод

Архитектура сети

Сеть содержит 23 сверточных слоя, организованных в два пути:

Сжимающий путь (Contracting Path): повторяющиеся блоки из двух сверток $3 \times 3$ без паддинга (за каждой следует ReLU) и операции max pooling $2 \times 2$ с шагом 2. Число каналов признаков удваивается на каждом этапе пулинга.
Расширяющий путь (Expansive Path): повторяющиеся блоки повышающей дискретизации, за которой следуют свертка $2 \times 2$ («up-convolution»), уменьшающая число каналов вдвое, конкатенация с обрезанной картой признаков соответствующего разрешения из сжимающего пути и две свертки $3 \times 3$ с активациями ReLU.
Финальный слой: свертка $1 \times 1$ отображает 64-канальные представления признаков непосредственно в оценки для требуемых $K$ классов.

Функция потерь и взвешивание границ

Сеть обучается с использованием попиксельной функции потерь softmax cross-entropy: $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ где $a_{k} (x)$ обозначает активацию для канала признаков $k$ в пикселе $x$ , $ℓ (x)$ — истинная метка класса, а $w (x)$ — пространственная карта весов потерь.

Для балансировки частот классов и разделения соприкасающихся объектов $w (x)$ определяется как: $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ где $w_{c} (x)$ выравнивает частоты классов, $d_{1} (x)$ — расстояние до границы ближайшей клетки, $d_{2} (x)$ — расстояние до границы второй ближайшей клетки; авторы задали $w_{0} = 10$ и $σ \approx 5$ пикселей.

Оптимизация

Обучение с использованием SGD в фреймворке Caffe с размером батча 1 (один большой тайл изображения) и высоким импульсом (0.99).
Инициализация весов из распределения Гаусса со стандартным отклонением $2/ N$ , где $N$ — число входящих узлов на нейрон.

Результаты

ISBI EM Segmentation Challenge (нейронные структуры):
- Занято первое место с показателями warping error $0.000353$ , Rand error $0.0382$ и попиксельной ошибкой $0.0611$ (усреднено по 7 повернутым версиям, без дополнительной постобработки).
- Превзойден предыдущий уровень state of the art от Cireşan et al. (warping error $0.000420$ , Rand error $0.0504$ ).
ISBI Cell Tracking Challenge 2015:
- PhC-U373 (фазовый контраст): достигнут средний показатель Intersection over Union (IOU) $0.9203$ по сравнению с $0.83$ у алгоритма на втором месте.
- DIC-HeLa (дифференциальный интерференционный контраст): достигнут средний IOU $0.7756$ по сравнению с $0.46$ у алгоритма на втором месте.
Эффективность: сегментация изображения $512 \times 512$ занимает менее секунды на современном GPU, а общее время обучения составляет около 10 часов на GPU NVIDIA Titan (6 ГБ).

Ограничения и открытые вопросы

Свертки без паддинга и обрезка: поскольку используются valid-свертки (без дополнения нулями), выходные тайлы строго меньше входных; это требует тщательного подбора размеров входного тайла (кратных степени двойки для всех этапов пулинга) и зеркального отражения на границах изображения.
Разделение экземпляров эвристическими весами: разделение соприкасающихся объектов опирается на вручную спроектированные морфологические весовые карты, а не на сквозные эмбеддинги экземпляров или специализированные ветви детекции.
2D-архитектура: исследование сосредоточено на 2D-срезах, оставляя адаптацию для трехмерных объемных биомедицинских данных будущим работам.

Ключевые термины

contracting path (сжимающий путь): Половина архитектуры U-Net (энкодер), в которой последовательно применяются свертки 3x3 без паддинга и max pooling для захвата контекста и извлечения высокоуровневых признаков.
expansive path (расширяющий путь): Симметричная половина архитектуры U-Net (декодер), которая повышает разрешение карт признаков, сокращает число каналов и восстанавливает точную пространственную сегментацию.
up-convolution (повышающая свертка): Свертка 2x2, применяемая после повышения разрешения (upsampling), которая уменьшает число каналов признаков вдвое перед конкатенацией.
overlap-tile strategy (стратегия перекрывающихся тайлов): Подход к обучению и инференсу, при котором сколь угодно большие изображения разбиваются на перекрывающиеся фрагменты (тайлы), а граничные области отражаются зеркально для формирования контекста, необходимого сверткам без паддинга.
elastic deformations (упругие деформации): Метод аугментации данных, генерирующий плавные векторы смещения на грубой сетке с помощью бикубической интерполяции для моделирования реалистичных искажений биологических тканей.
weight map (весовая карта): Пространственно неоднородная весовая функция потерь, сочетающая балансировку частот классов с экспоненциальным штрафом на основе расстояний до двух ближайших клеток для разделения касающихся объектов.
warping error (ошибка деформации): Метрика оценки качества сегментации в соревновании ISBI EM challenge, оценивающая сохранение топологической корректности (например, целостность нейронных мембран).
fully convolutional network (полносверточная сеть): Нейронная сеть, состоящая исключительно из операций свертки и пулинга без полносвязных слоев, что позволяет осуществлять плотное предсказание на входах произвольного размера.

Вопросы

Зачем U-Net обрезает карты признаков перед конкатенацией в skip connections?

Поскольку в U-Net используются свертки valid (без паддинга), каждая свертка уменьшает размер карты признаков за счет граничных пикселей. Обрезка карты признаков из сжимающего пути необходима для точного совпадения пространственных размеров с картой признаков после повышения разрешения.

Как U-Net обрабатывает края больших изображений во время инференса?

U-Net использует стратегию overlap-tile: для предсказания валидной центральной области тайла на вход подаются окружающие пиксели контекста, а недостающие данные за пределами границ исходного изображения экстраполируются с помощью зеркального отражения.

Как U-Net разделяет клетки, которые соприкасаются друг с другом?

Используется предварительно рассчитанная весовая карта в функции потерь: она добавляет большой экспоненциальный штраф для фоновых пикселей, расположенных между границами ближайшей и второй ближайшей клеток, заставляя сеть формировать тонкие разделяющие границы.

Почему при обучении размер батча равен 1?

Авторы предпочли тайлы большого разрешения увеличению размера батча, чтобы максимизировать доступный контекст в пределах ограниченной памяти GPU (6 ГБ NVIDIA Titan). Отсутствие накопления градиентов по батчу компенсировалось высоким значением импульса SGD (0.99).

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ