U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

論文 · arXiv 1505.04597

U-Net：用於生物醫學影像分割的卷積網路 (U-Net: Convolutional Networks for Biomedical Image Segmentation)

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

發表於 2015-05-18cs.CV arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 利用極小規模的標註資料集，端對端訓練高精度的像素級生物醫學分割網路。
🔧 對稱的 U 型卷積架構，結合用於獲取上下文的收縮路徑、具備跳躍連接以實現精確定位的擴展路徑、無填充的有效卷積、彈性形變資料擴增以及邊界分離權重圖。
📈 在 ISBI 電子顯微鏡分割挑戰賽中超越滑動窗口方法（扭曲誤差 0.000353），並以 PhC-U373 上 0.9203 IOU 與 DIC-HeLa 上 0.7756 IOU 的成績贏得 2015 年 ISBI 細胞追蹤挑戰賽。

摘要

普遍共識認為，成功訓練深度網路需要數千個標註訓練樣本。在本文中，我們提出了一種依賴大量資料擴增的網路架構與訓練策略，以更有效地利用現有的標註樣本。該架構包含用於捕捉上下文資訊的收縮路徑，以及可實現精確定位的對稱擴展路徑。我們證明，此類網路可以使用極少數的影像進行端對端訓練，並在電子顯微鏡連續切片神經結構分割的 ISBI 競賽中超越了先前的最佳方法（滑動窗口卷積網路）。使用在穿透光顯微鏡影像（相位差與 DIC）上訓練的相同網路，我們在這些類別中大幅領先並贏得了 2015 年 ISBI 細胞追蹤挑戰賽。此外，該網路速度極快，在現代 GPU 上分割一張 512x512 的影像不到一秒。完整的實作（基於 Caffe）與訓練好的網路可在 http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net 取得。

英文原文摘要

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

論文解讀

問題與動機

生物醫學影像分割需要密集且像素層級的分類（定位），而非整張影像層級的分類。該領域主要面臨兩大核心挑戰：

標註訓練資料極度稀缺，通常僅有幾十張影像，而非數千或數百萬張。
先前的深度學習方法（如 Cireşan 等人採用的基於圖像塊的滑動窗口卷積網路）存在嚴重的計算冗餘、推論速度緩慢，且在影像塊上下文範圍與定位精度之間存在固有的權衡取捨。

作者旨在設計一種端對端的全卷積網路，能同時捕捉全域上下文與精細的局部細節，無縫處理任意大小的影像，並能僅憑極有限的資料成功訓練。

核心概念

對稱 U 型架構（Symmetric U-Shaped Architecture）： 擴展了全卷積網路，將收縮（下採樣）編碼器與配備大量特徵通道的對稱擴展（上採樣）解碼器匹配，將上下文資訊向上傳遞。
跳躍連接（Skip Connections）： 將來自收縮路徑的高解析度特徵圖複製並拼接至擴展路徑中對應的上採樣特徵圖（經裁剪後），補足池化過程中遺失的精確空間定位細節。
重疊區塊策略與有效卷積（Overlap-Tile Strategy with Valid Convolutions）： 網路採用無填充（unpadded）卷積。邊界區域透過區塊劃分並利用鏡像外推缺失的上下文來實現無縫預測，從而繞過 GPU 記憶體對大尺寸影像的限制。
彈性形變擴增（Elastic Deformation Augmentation）： 透過粗糙隨機網格產生的平滑逼真彈性形變，讓網路學會形變不變性，大幅減少所需的訓練樣本數量。
邊界分離損失加權（Separation Border Loss Weighting）： 預先計算的像素級權重圖，對同類別相鄰細胞間的背景邊界錯誤進行加重懲罰，使個別實例能被清晰分離。

方法細節

網路架構

該網路包含 23 個卷積層，分為兩條路徑：

收縮路徑（Contracting Path）： 由重複的區塊組成，每個區塊包含兩個 $3 \times 3$ 無填充卷積（每個卷積後接一個 ReLU）和一個步長為 2 的 $2 \times 2$ 最大池化。每次池化後特徵通道數加倍。
擴展路徑（Expansive Path）： 由重複的區塊組成，每個區塊包含一個上採樣操作，接著是減半通道數的 $2 \times 2$ 卷積（「上卷積」），並與收縮路徑中裁切後對應解析度的特徵圖拼接，最後經過兩個 $3 \times 3$ 卷積及 ReLU。
最終層： 使用一個 $1 \times 1$ 卷積將 64 通道的特徵表示直接映射到所需的 $K$ 個類別分數。

損失函數與邊界加權

網路使用像素級的 Softmax 交叉熵進行訓練： $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ 其中 $a_{k} (x)$ 表示像素 $x$ 處特徵通道 $k$ 的活化值， $ℓ (x)$ 為真實類別標籤， $w (x)$ 為空間損失權重圖。

為了平衡類別頻率並分離接觸的物體， $w (x)$ 定義為： $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ 其中 $w_{c} (x)$ 用於平衡類別頻率， $d_{1} (x)$ 是到最近細胞邊界的距離， $d_{2} (x)$ 是到次近細胞邊界的距離，作者設定 $w_{0} = 10$ 且 $σ \approx 5$ 像素。

最佳化設定

在 Caffe 中使用 SGD 進行訓練，批次大小設為 1（單個大尺寸影像區塊），並搭配高動量值（0.99）。
權重採用高斯分佈初始化，標準差為 $2/ N$ ，其中 $N$ 為每個神經元的輸入節點數。

研究成果

ISBI 電子顯微鏡分割挑戰賽（神經元結構）：
- 取得最佳排名，扭曲誤差（warping error）為 $0.000353$ 、Rand 誤差為 $0.0382$ 、像素誤差為 $0.0611$ （取 7 個旋轉版本的平均值，無額外後處理）。
- 超越了 Cireşan 等人先前的最先進水準（扭曲誤差 $0.000420$ 、Rand 誤差 $0.0504$ ）。
2015 年 ISBI 細胞追蹤挑戰賽：
- PhC-U373（相位差顯微鏡）： 達到 $0.9203$ 的平均交併比（IOU），顯著高於第二名演算法的 $0.83$ 。
- DIC-HeLa（微分干涉顯微鏡）： 達到 $0.7756$ 的平均 IOU，大幅超越第二名演算法的 $0.46$ 。
執行效率： 在現代 GPU 上分割一張 $512 \times 512$ 的影像所需時間不到一秒，在 NVIDIA Titan GPU（6 GB）上的總訓練時間約為 10 小時。

限制與未解問題

無填充卷積與裁切： 由於卷積採用有效卷積（無填充），輸出區塊嚴格小於輸入區塊，需要謹慎選擇輸入區塊的尺寸，使其在所有池化步驟中皆能被 $2$ 整除，並需在影像邊界進行鏡像處理。
透過啟發式權重進行實例分離： 接觸實例的分離高度依賴人工設計的形態學權重圖，而非端對端的實例嵌入（embeddings）或偵測分支。
針對 2D 設計： 本論文著重於 2D 切片，如何推廣至立體 3D 生物醫學影像仍留待後續研究探討。

關鍵術語

contracting path (收縮路徑): U-Net 的編碼器部分，透過反覆應用無填充的 3x3 卷積與最大池化來捕捉上下文並提取高階特徵表示。
expansive path (擴展路徑): U-Net 的對稱解碼器部分，用於對特徵圖進行上採樣、縮減通道維度，並重建精確的空間分割。
up-convolution (上卷積): 在上採樣後應用的 2x2 卷積，在特徵拼接前將特徵通道數減半。
overlap-tile strategy (重疊區塊策略): 一種推論與訓練策略，將任意大尺寸影像分割為重疊的區塊，並透過鏡像邊界區域為無填充卷積提供所需的上下文。
elastic deformations (彈性形變): 一種資料擴增技術，透過雙三次插值在粗糙網格上產生平滑位移向量，以模擬生物組織的形態變化。
weight map (權重圖): 一種空間變化的損失加權函數，結合類別頻率平衡以及基於到最近兩個細胞距離的指數懲罰，用以分離相鄰接觸的物體。
warping error (扭曲誤差): ISBI 電子顯微鏡挑戰賽中使用的分割評估指標，用以評估拓撲結構的正確性（例如神經元細胞膜是否連續未斷裂）。
fully convolutional network (全卷積網路): 完全由卷積與池化操作組成、不包含全連接層的神經網路，支援對任意輸入尺寸進行密集預測。

常見問題

為什麼 U-Net 在跳躍連接拼接之前要裁切特徵圖？

因為 U-Net 採用有效卷積（無填充卷積），每次卷積都會使特徵圖尺寸因邊界像素而縮小。裁切收縮路徑的特徵圖可確保其空間維度與上採樣特徵圖完全匹配以進行拼接。

U-Net 在推論時如何處理大尺寸影像的邊界？

U-Net 採用重疊區塊策略（overlap-tile strategy）：為了預測區塊內部的有效區域，會將周圍的上下文像素一同作為輸入；若超出影像邊界，則透過鏡像反射來外推填補缺失的資料。

U-Net 如何分離相互接觸的細胞？

它在損失函數中使用預先計算的權重圖，對位於最近與次近細胞邊界之間的背景像素賦予極大的指數加權懲罰，藉此強迫網路保留細微的分割邊界。

為什麼訓練時批次大小設為 1？

作者選擇使用大尺寸的影像區塊而非大批次量，以在有限的 GPU 記憶體（6 GB NVIDIA Titan）中最大化上下文範圍，並透過採用高達 0.99 的 SGD 動量來彌補單區塊批次大小的影響。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）