U-Net: Convolutional Networks for Biomedical Image Segmentation

Panduan membaca

Masalah dan motivasi

Segmentasi citra biomedis membutuhkan klasifikasi tingkat piksel yang padat (lokalisasi), bukan sekadar kategorisasi tingkat citra. Dua tantangan mendasar mendominasi bidang ini:

1. Data latih beranotasi sangat langka, sering kali hanya terdiri dari beberapa lusin citra, bukan ribuan atau jutaan.
2. Metode deep learning sebelumnya, seperti sliding-window convolutional networks berbasis patch (misalnya, Cireşan et al.), memiliki redundansi yang tinggi, inferensi lambat, serta trade-off inheren antara konteks patch dan presisi lokalisasi.

Para peneliti berupaya menciptakan fully convolutional network end-to-end yang dapat menangkap konteks global sekaligus detail lokal halus secara bersamaan, memproses citra berukuran besar tanpa batas resolusi secara mulus, dan dapat dilatih dengan sukses dari data yang sangat terbatas.

Ide-ide utama

• Arsitektur Simetris Berbentuk U: Memperluas fully convolutional networks dengan memasangkan encoder kontraktif (downsampling) dengan decoder ekspansif (upsampling) yang sama ekspresifnya, dilengkapi dengan banyak kanal fitur untuk meneruskan konteks ke tingkat atas.
• Skip Connections: Peta fitur beresolusi tinggi dari contracting path disalin dan digabungkan (concatenation) dengan peta fitur hasil upsampling pada expansive path (setelah dipangkas/crop), menyediakan detail lokalisasi spasial presisi yang hilang selama proses pooling.
• Overlap-Tile Strategy dengan Valid Convolutions: Jaringan menggunakan konvolusi tanpa padding (unpadded convolutions). Area perbatasan diprediksi secara mulus dengan membagi ubin citra (tiling) dan mengekstrapolasi konteks yang hilang melalui pencerminan (mirroring), mengatasi keterbatasan memori GPU pada citra berukuran besar.
• Augmentasi Deformasi Elastis: Deformasi elastis yang realistis dan halus dibuat melalui kisi acak kasar untuk melatih invarian deformasi pada jaringan, secara drastis mengurangi jumlah sampel latih yang dibutuhkan.
• Pembobotan Loss Batas Pemisahan: Peta bobot per piksel yang telah dihitung sebelumnya memberikan penalti pada kesalahan di batas latar belakang antara sel-sel yang saling bersentuhan dari kelas yang sama, memungkinkan pemisahan instans secara jelas.

Metode

Struktur Jaringan

Jaringan ini memiliki 23 lapisan konvolusional yang terorganisasi ke dalam dua jalur:

• Contracting Path: Blok berulang yang terdiri dari dua konvolusi $3\times 3$ tanpa padding (masing-masing diikuti oleh ReLU) dan operasi max pooling $2\times 2$ dengan stride 2. Jumlah kanal fitur berlipat ganda pada setiap tahap pooling.
• Expansive Path: Blok berulang dari operasi upsampling yang diikuti oleh konvolusi $2\times 2$ ("up-convolution") yang membagi dua jumlah kanal fitur, penggabungan dengan peta fitur yang dipangkas dari contracting path dengan resolusi yang cocok, dan dua konvolusi $3\times 3$ yang diikuti oleh ReLU.
• Lapisan Terakhir: Konvolusi $1\times 1$ memetakan representasi fitur 64 kanal secara langsung ke skor kelas $K$ yang diinginkan.

Fungsi Loss dan Pembobotan Batas

Jaringan dilatih menggunakan softmax cross-entropy tingkat piksel: $$p_k(\mathbf{x})=\frac{\exp (a_k(\mathbf{x}))}{{\sum }_{k^{\prime }=1}^K\exp (a_{k^{\prime }}(\mathbf{x}))}$$ $$E=\sum _{\mathbf{x}\in \Omega }w(\mathbf{x})\log (p_{\ell (\mathbf{x})}(\mathbf{x}))$$ di mana $a_k(\mathbf{x})$ menunjukkan aktivasi untuk kanal fitur $k$ pada piksel $\mathbf{x}$, $\ell (\mathbf{x})$ adalah label kelas ground truth, dan $w(\mathbf{x})$ adalah peta bobot loss spasial.

Untuk menyeimbangkan frekuensi kelas dan memisahkan objek yang bersentuhan, $w(\mathbf{x})$ didefinisikan sebagai: $$w(\mathbf{x})=w_c(\mathbf{x})+w_0\cdot \exp \left(-\frac{(d_1(\mathbf{x})+d_2(\mathbf{x}){)}^2}{2{\sigma }^2}\right)$$ di mana $w_c(\mathbf{x})$ menyeimbangkan frekuensi kelas, $d_1(\mathbf{x})$ adalah jarak ke batas sel terdekat, $d_2(\mathbf{x})$ adalah jarak ke batas sel terdekat kedua, dan peneliti menetapkan $w_0=10$ serta $\sigma \approx 5$ piksel.

Optimasi

• Dilatih menggunakan SGD pada Caffe dengan batch size 1 (satu ubin citra besar) dan momentum tinggi (0.99).
• Bobot diinisialisasi dari distribusi Gaussian dengan standar deviasi $\sqrt{2/N}$, di mana $N$ adalah jumlah node input per neuron.

Hasil

• ISBI EM Segmentation Challenge (Struktur Neuronal):
  • Meraih peringkat terbaik dengan warping error sebesar $0.000353$, Rand error sebesar $0.0382$, dan kesalahan piksel sebesar $0.0611$ (dirata-ratakan dari 7 versi rotasi, tanpa pasca-pemrosesan tambahan).
  • Mengungguli metode state-of-the-art sebelumnya oleh Cireşan et al. (warping error $0.000420$, Rand error $0.0504$).
• ISBI Cell Tracking Challenge 2015:
  • PhC-U373 (Phase Contrast): Mencapai rata-rata Intersection over Union (IOU) sebesar $0.9203$, dibandingkan dengan algoritma terbaik kedua sebesar $0.83$.
  • DIC-HeLa (Differential Interference Contrast): Mencapai rata-rata IOU sebesar $0.7756$, dibandingkan dengan algoritma terbaik kedua sebesar $0.46$.
• Efisiensi: Mensegmentasi citra $512\times 512$ membutuhkan waktu kurang dari satu detik pada GPU modern, dengan total waktu pelatihan memakan waktu sekitar 10 jam pada GPU NVIDIA Titan (6 GB).

Keterbatasan dan pertanyaan terbuka

• Konvolusi Tanpa Padding dan Pemangkasan: Karena konvolusi bersifat valid (unpadded), ukuran ubin keluaran selalu lebih kecil daripada ubin masukan, sehingga memerlukan pemilihan dimensi ubin masukan yang cermat agar habis dibagi $2$ di semua langkah pooling dan memerlukan pencerminan pada batas citra.
• Pemisahan Instans melalui Bobot Heuristik: Pemisahan instans yang saling bersentuhan bergantung pada peta bobot morfologis yang dirancang manual, alih-alih menggunakan instance embeddings end-to-end atau cabang deteksi terpisah.
• Desain Khusus 2D: Makalah ini berfokus pada irisan 2D, menyerahkan adaptasi untuk akuisisi biomedis volumetrik 3D untuk penelitian selanjutnya.