U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger; Philipp Fischer; Thomas Brox

論文 · arXiv 1505.04597

U-Net: 生体の画像セグメンテーションのための畳み込みネットワーク

U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger, Philipp Fischer, Thomas Brox

公開日 2015-05-18cs.CV arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 極めて小規模なアノテーション付きデータセットを用いて、高精度なピクセル単位の生体画像セグメンテーションネットワークをエンドツーエンドで学習。
🔧 コンテキストを取得する収縮パス、精密な位置特定のためのスキップ接続を備えた拡張パス、パディングなしのvalid畳み込み、弾性変形拡張、および分離境界重みマップを組み合わせた対称的なU字型畳み込みアーキテクチャ。
📈 ISBI EMセグメンテーションチャレンジでスライディングウィンドウ法を上回り（ワーピングエラー0.000353）、ISBI Cell Tracking Challenge 2015ではPhC-U373でIOU 0.9203、DIC-HeLaでIOU 0.7756を記録して優勝。

概要

深層ネットワークの学習を成功させるには、何千ものアノテーション付き訓練サンプルが必要であるというのが一般的な見解です。本論文では、利用可能なアノテーション付きサンプルをより効率的に活用するために、強力なデータ拡張に依存したネットワークおよび学習戦略を提案します。このアーキテクチャは、コンテキストを捉える収縮パスと、精密な位置特定を可能にする対称的な拡張パスで構成されています。このようなネットワークは、極めて少数の画像からエンドツーエンドで学習可能であり、電子顕微鏡連続切片における神経構造のセグメンテーションを競うISBIチャレンジにおいて、これまでの最良手法（スライディングウィンドウ型畳み込みネットワーク）を上回ることを示します。透過光顕微鏡画像（位相差およびDIC）で学習させた同一のネットワークを用いて、ISBI cell tracking challenge 2015のこれらの部門で大差をつけて優勝しました。さらに、このネットワークは高速です。最新のGPUを使用すれば、 $512 \times 512$ 画像のセグメンテーションは1秒未満で完了します。完全な実装（Caffeベース）および学習済みネットワークは http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net で公開されています。

英語の原文概要

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

論文解説

課題と動機

生体医用画像セグメンテーションでは、画像レベルの分類ではなく、密なピクセルレベルの分類（位置特定）が求められます。この分野には主に2つの根本的な課題が存在します。

アノテーション付きの訓練データが極めて不足しており、数千から数百万枚ではなく、わずか数十枚程度で構成されることが多い点。
パッチベースのスライディングウィンドウ型畳み込みネットワーク（例：Cireşanら）などの先行深層学習手法では、冗長性が大きく推論が遅い上に、パッチのコンテキスト取得と位置特定の精度の間に本質的なトレードオフが存在した点。

著者らは、大域的なコンテキストと微細な局所ディテールの両方を同時に捉え、任意の大きさの画像を継ぎ目なく処理でき、極めて限られたデータからでも学習を成功させられるエンドツーエンドの全結合層を持たない畳み込みネットワークを追求しました。

主要なアイデア

対称的なU字型アーキテクチャ: 収縮（ダウンサンプリング）を行うエンコーダに対し、コンテキストを上位層へ伝達するために多数のチャネルを備えた同等に表現力の高い拡張（アップサンプリング）デコーダを対応させることで、fully convolutional networkを拡張。
スキップ接続 (Skip Connections): 収縮パスの高解像度特徴マップを（クロッピング後に）コピーして拡張パスのアップサンプリングされた特徴マップと連結し、プーリングによって失われた正確な空間位置情報を補完。
Valid畳み込みを用いたオーバーラップタイル戦略 (Overlap-Tile Strategy): パディングを行わない畳み込みを採用。境界領域はタイル分割とミラーリングによる不足コンテキストの外挿によって継ぎ目なく予測され、大きな画像におけるGPUメモリ制限を回避。
弾性変形によるデータ拡張 (Elastic Deformation Augmentation): 粗いランダムグリッドを介して生成される現実的かつ滑らかな弾性変形により、ネットワークに変形不変性を学習させ、必要な訓練サンプル数を大幅に削減。
分離境界の損失重み付け (Separation Border Loss Weighting): 事前計算されたピクセル単位の重みマップにより、同クラスの接触している細胞間にある背景境界のエラーに高いペナルティを課し、個々のインスタンスの明確な分離を実現。

手法

ネットワーク構造

ネットワークは2つのパスに編成された23の畳み込み層で構成されます。

収縮パス (Contracting Path): 2つの $3 \times 3$ パディングなし畳み込み（各畳み込みの後にReLUを適用）と、ストライド2の $2 \times 2$ max poolingからなるブロックの繰り返し。プーリングの各ステップで特徴チャネル数が2倍になります。
拡張パス (Expansive Path): アップサンプリング操作、特徴チャネルを半減させる $2 \times 2$ 畳み込み（"up-convolution"）、対応する解像度のクロップ済み収縮特徴マップとの連結、およびその後の2つの $3 \times 3$ 畳み込み（ReLU付き）からなるブロックの繰り返し。
最終層: $1 \times 1$ 畳み込みにより、64チャネルの特徴表現を目的の $K$ クラスのスコアへと直接マッピング。

損失関数と境界重み付け

ネットワークはピクセル単位のソフトマックスクロスエントロピーで学習されます。 $p_{k} (x) = \frac{exp ( a _{k} ( x ))}{\sum _{k^{'} = 1}^{K} exp ( a _{k^{'}} ( x ))}$ $E = x \in Ω \sum w (x) lo g (p_{ℓ (x)} (x))$ ここで、 $a_{k} (x)$ はピクセル $x$ における特徴チャネル $k$ の活性化、 $ℓ (x)$ は正解のクラスラベル、 $w (x)$ は空間的な損失重みマップを表します。

クラス頻度のバランスを取り、接触している物体を分離するため、 $w (x)$ は以下のように定義されます。 $w (x) = w_{c} (x) + w_{0} \cdot exp (- \frac{( d _{1} ( x ) + d _{2} ( x ) ) ^{2}}{2 σ ^{2}})$ ここで、 $w_{c} (x)$ はクラス頻度のバランスを取り、 $d_{1} (x)$ は最も近い細胞の境界までの距離、 $d_{2} (x)$ は2番目に近い細胞の境界までの距離です。著者らは $w_{0} = 10$ 、 $σ \approx 5$ ピクセルと設定しています。

最適化

Caffeを用いてSGDにより学習。バッチサイズは1（単一の大きな画像タイル）、モメンタムは高めの0.99を設定。
重みは、ニューロンあたりの入力ノード数を $N$ としたとき、標準偏差 $2/ N$ のガウス分布から初期化。

結果

ISBI EM Segmentation Challenge（神経構造）:
- ワーピングエラー $0.000353$ 、Randエラー $0.0382$ 、ピクセルエラー $0.0611$ を記録し、最優秀の順位を獲得（7つの回転バリエーションによる平均、追加の後処理なし）。
- Cireşanらによる従来の最高水準の手法（ワーピングエラー $0.000420$ 、Randエラー $0.0504$ ）を上回る。
ISBI Cell Tracking Challenge 2015:
- PhC-U373（位相差）: 2位のアルゴリズムが $0.83$ であったのに対し、平均Intersection over Union（IOU） $0.9203$ を達成。
- DIC-HeLa（微分干渉）: 2位のアルゴリズムが $0.46$ であったのに対し、平均IOU $0.7756$ を達成。
効率性: $512 \times 512$ 画像のセグメンテーションは最新GPUで1秒未満で完了し、総学習時間はNVIDIA Titan GPU（6 GB）で約10時間。

限界と未解決の課題

パディングなし畳み込みとクロッピング: 畳み込みがvalid（パディングなし）であるため、出力タイルは入力タイルよりも厳密に小さくなります。そのため、すべてのプーリングステップを通じて $2$ で割り切れる入力タイルサイズを慎重に選定し、画像境界でのミラーリングを行う必要があります。
ヒューリスティックな重みによるインスタンス分離: 接触しているインスタンスの分離は、エンドツーエンドのインスタンス埋め込みや検出ブランチではなく、人手で設計されたモルフォロジー重みマップに依存しています。
2D特化の設計: 本論文は2Dスライスに焦点を当てており、体積を持つ3D生体画像への適応は後続の研究課題として残されています。

重要用語

contracting path: パディングなしの3x3畳み込みとmax poolingを繰り返し適用し、コンテキストの把握と高レベル特徴表現の抽出を行うU-Netのエンコーダ側。
expansive path: 特徴マップのアップサンプリング、チャネル数の削減、そして精密な空間セグメンテーションの再構築を行うU-Netの対称的なデコーダ側。
up-convolution: アップサンプリング後に適用され、特徴マップを連結する前に特徴チャネル数を半減させる2x2畳み込み。
overlap-tile strategy: 任意の大きさの画像を重複するタイルに分割し、境界領域をミラーリングしてパディングなし畳み込みに必要なコンテキストを提供する推論および学習手法。
elastic deformations: 生体組織のばらつきを模倣するため、粗いグリッド上で双三次補間により滑らかな変位ベクトルを生成するデータ拡張技術。
weight map: 接触している物体を分離するため、クラス頻度のバランス調整と直近の2つの細胞境界までの距離に基づく指数ペナルティを組み合わせた空間的に変動する損失重み付け関数。
warping error: ISBI EMチャレンジで使用されるセグメンテーション評価指標で、途切れていない神経膜などの位相的な正しさを評価するもの。
fully convolutional network: 全結合層を持たず、畳み込み操作とプーリング操作のみで構成され、可変サイズの入力に対して密な予測が可能なニューラルネットワーク。

よくある質問

なぜU-Netはスキップ接続で連結する前に特徴マップをクロップするのですか？

U-Netはvalid（パディングなし）畳み込みを使用しているため、各畳み込みによって特徴マップのサイズが境界ピクセル分縮小します。収縮特徴マップをクロップすることで、アップサンプリングされた特徴マップと空間サイズを一致させて連結できるようにしています。

U-Netは推論時に大きな画像の境界をどのように処理しますか？

U-Netはオーバーラップタイル戦略を採用しています。タイルの有効な内側領域を予測するため、周囲のコンテキストピクセルを入力として与え、画像境界の外側にある不足データはミラーリングによって外挿します。

U-Netは互いに接触している細胞をどのように分離しますか？

損失関数において事前計算された重みマップを使用します。最も近い細胞境界と2番目に近い細胞境界の間に位置する背景ピクセルに大きな指数ペナルティを課すことで、ネットワークに細い分離境界を維持させます。

なぜ学習時のバッチサイズを1に設定しているのですか？

利用可能なGPUメモリ（6 GB NVIDIA Titan）の範囲内でコンテキストを最大化するために、大きなバッチサイズよりも大きな画像タイルを優先したためです。バッチサイズが単一タイルであることは、0.99という高いSGDモメンタムを使用することで補っています。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）