U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

论文 · arXiv 1505.04597

U-Net: 用于生物医学图像分割的卷积网络 (U-Net: Convolutional Networks for Biomedical Image Segmentation)

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

发表于 2015-05-18cs.CV arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 利用极少的标注数据集，端到端训练高精度的像素级生物医学图像分割网络。
🔧 采用对称的 U 型卷积架构，结合用于捕获上下文的收缩路径、带跳跃连接的精确定位扩张路径、无填充 valid 卷积、弹性形变数据增强以及边界分离权重图。
📈 在 ISBI EM 分割挑战赛中超越滑动窗口方法（翘曲误差 warping error 达 0.000353），并赢得 ISBI Cell Tracking Challenge 2015（在 PhC-U373 上 IOU 达 0.9203，在 DIC-HeLa 上 IOU 达 0.7756）。

摘要

普遍共识认为，成功训练深度网络需要数千个带标注的训练样本。在本文中，我们提出了一种网络架构和训练策略，依靠对数据增强的充分利用，从而更高效地使用现有的标注样本。该网络结构由一个用于捕获上下文的收缩路径（contracting path）和一个用于精确定位的对称扩张路径（expanding path）组成。我们证明，这种网络可以通过极少量的图像进行端到端训练，并在 ISBI 电子显微镜层叠图像神经元结构分割挑战赛上超越了此前的最优方法（滑动窗口卷积网络）。使用该网络在透射光显微图像（相差显微镜和 DIC）上训练后，我们以显著优势赢得了 2015 年 ISBI 细胞追踪挑战赛的相应组别。此外，该网络速度极快。在现代 GPU 上分割一张 512x512 的图像耗时不到一秒。基于 Caffe 的完整实现和训练好的网络可在 http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net 获取。

英文原文摘要

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

论文解读

问题与动机

生物医学图像分割需要密集的像素级分类（定位），而非图像级的类别划分。该领域主要面临两大基本挑战：

标注训练数据极其匮乏，往往只有数十张图像，而非成千上万张。
以往的深度学习方法（例如 Cireşan 等人提出的基于 patch 的滑动窗口卷积网络）存在大量冗余计算，推理速度慢，且在 patch 的上下文大小与定位精度之间存在不可调和的权衡。

作者旨在构建一种端到端的全卷积网络，能够同时捕获全局上下文信息与精细的局部细节，无缝处理任意大小的图像，并能在极少的数据上成功训练。

核心思想

对称 U 型架构（Symmetric U-Shaped Architecture）： 扩展了全卷积网络，将收缩（下采样）编码器与同样具有强大表达能力的扩张（上采样）解码器对称匹配，解码器配备大量特征通道以向上层传递上下文。
跳跃连接（Skip Connections）： 将收缩路径的高分辨率特征图（经裁剪后）直接复制并拼接到扩张路径的上采样特征图中，以此补充在池化过程中丢失的精细空间定位细节。
重叠切片策略与 Valid 卷积（Overlap-Tile Strategy with Valid Convolutions）： 网络采用无填充（unpadded）卷积。通过切片平铺并通过镜像外推边界缺失的上下文，网络可以无缝预测边界区域，从而突破大图像的 GPU 显存限制。
弹性形变增强（Elastic Deformation Augmentation）： 通过粗糙随机网格生成的真实、平滑弹性形变，使网络学习形变不变性，从而大幅减少所需的训练样本数量。
边界分离损失加权（Separation Border Loss Weighting）： 预先计算像素级权重图，对同类相接触细胞之间的背景边界误差施加高惩罚，从而实现清晰的实例分离。

方法

网络结构

该网络包含 23 个卷积层，分为两个路径：

收缩路径（Contracting Path）： 由多个重复块组成，每个块包含两个 $3 \times 3$ 无填充卷积（后接 ReLU）和一个步长为 2 的 $2 \times 2$ 最大池化（max pooling）。在每次池化操作后，特征通道数翻倍。
扩张路径（Expansive Path）： 由多个重复块组成，每个块包含一个上采样操作，随后是一个使特征通道数减半的 $2 \times 2$ 卷积（“上卷积”），然后与来自收缩路径对应分辨率且经裁剪的特征图进行拼接，再接两个 $3 \times 3$ 卷积及 ReLU。
最终层： 使用一个 $1 \times 1$ 卷积直接将 64 通道的特征表示映射为所需的 $K$ 个类别分数。

损失函数与边界加权

网络使用逐像素的 softmax 交叉熵进行训练： $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ 其中 $a_{k} (x)$ 表示像素 $x$ 处特征通道 $k$ 的激活值， $ℓ (x)$ 是真实类别标签， $w (x)$ 是空间损失权重图。

为了平衡类别频率并分离相互接触的物体， $w (x)$ 定义为： $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ 其中 $w_{c} (x)$ 用于平衡类别频率， $d_{1} (x)$ 是到最近细胞边界的距离， $d_{2} (x)$ 是到第二近细胞边界的距离，作者在实验中设置 $w_{0} = 10$ 且 $σ \approx 5$ 像素。

优化设置

在 Caffe 中使用 SGD 进行训练，batch size 设为 1（单张大图切片），并使用较高的动量（0.99）。
权重采用高斯分布初始化，标准差为 $2/ N$ ，其中 $N$ 为每个神经元的输入节点数。

结果

ISBI EM 分割挑战赛（神经元结构）：
- 取得最佳排名，warping error 为 $0.000353$ ，Rand error 为 $0.0382$ ，像素误差为 $0.0611$ （对 7 种旋转版本取平均，无额外后处理）。
- 超越了此前由 Cireşan 等人保持的最优表现（warping error $0.000420$ ，Rand error $0.0504$ ）。
ISBI Cell Tracking Challenge 2015：
- PhC-U373（相差显微）： 平均交并比（IOU）达到 $0.9203$ ，而第二名算法仅为 $0.83$ 。
- DIC-HeLa（微分干涉差显微）： 平均 IOU 达到 $0.7756$ ，而第二名算法仅为 $0.46$ 。
运行效率： 在现代 GPU 上分割一张 $512 \times 512$ 的图像仅需不到一秒，在 NVIDIA Titan GPU（6 GB）上的总训练时间约为 10 小时。

局限性与开放问题

无填充卷积与裁剪： 由于使用了 valid（无填充）卷积，输出切片尺寸严格小于输入切片尺寸，必须精心选择在所有池化层中都能被 $2$ 整除的输入切片尺寸，并在图像边缘进行镜像填充。
依赖启发式权重的实例分离： 分离紧邻实例主要依赖手工设计的形态学权重图，而非端到端的实例嵌入或检测分支。
仅限 2D 的设计： 本文专注于 2D 切片，将其扩展至体数据 3D 生物医学扫描的适配工作留待后续研究处理。

关键术语

contracting path: U-Net 中的编码器部分，通过反复应用无填充的 3x3 卷积和最大池化来捕获上下文并提取高级特征表示。
expansive path: U-Net 中的对称解码器部分，负责对特征图进行上采样、降低通道维度，并重建精确的空间分割结果。
up-convolution: 在上采样后应用的 2x2 卷积，在拼接特征图之前将特征通道数减半。
overlap-tile strategy: 一种推理和训练策略，将任意大尺寸图像分割为重叠切片，并通过镜像边界区域为无填充卷积提供所需的上下文信息。
elastic deformations: 一种数据增强技术，通过双三次插值在粗糙网格上生成平滑位移矢量，用以模拟生物组织的形态变化。
weight map: 一种空间可变的损失加权函数，结合了类别频率平衡以及基于到最近两个细胞距离的指数惩罚，用于分离粘连目标。
warping error: ISBI EM 挑战赛中使用的分割评估指标，用于衡量拓扑结构的正确性（例如神经元膜的连续闭合程度）。
fully convolutional network: 完全由卷积和池化操作组成、不含全连接层的神经网络，能够对任意尺寸的输入执行密集预测。

常见问题

为什么 U-Net 在跳跃连接拼接特征图之前需要进行裁剪？

因为 U-Net 采用了 valid（无填充）卷积，每次卷积都会导致特征图尺寸因边界像素缩减。对收缩路径的特征图进行裁剪，可以确保其空间尺寸与上采样后的特征图相匹配以进行拼接。

U-Net 在推理时如何处理大图像的边缘区域？

U-Net 采用了重叠切片策略（overlap-tile strategy）：为了预测切片内部的有效区域，需要将周围的上下文像素一同作为输入，超出图像边界的缺失数据则通过镜像反射进行外推补充。

U-Net 如何分离彼此相贴的细胞？

它在损失函数中引入了预先计算的权重图，在位于最近和次近细胞边界之间的背景像素处增加较大的指数惩罚，从而迫使网络学习保留细小的分离边界。

为什么训练时的 batch size 设为 1？

作者选择优先使用大尺寸图像切片而非大 batch size，以便在有限的 GPU 显存（6 GB NVIDIA Titan）下最大化上下文信息，并通过采用 0.99 的高 SGD 动量来弥补单切片 batch size 的方差。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）