Segment Anything

Panduan membaca

Masalah dan motivasi

Foundation model yang di-pretrain pada data berskala web telah merevolusi NLP dan penyelarasan visi-bahasa (misalnya, CLIP), tetapi computer vision secara umum belum memiliki sistem fondasi yang mampu melakukan generalisasi zero-shot secara luas di berbagai tugas segmentasi. Dataset yang ada untuk segmentasi gambar tergolong kecil dibandingkan korpus teks-gambar berskala web, dan arsitektur segmentasi konvensional biasanya terikat pada kelas semantik tetap atau konfigurasi interaktif khusus.

Untuk membangun vision foundation model untuk segmentasi, para penulis secara bersamaan menangani tiga elemen inti:

1. Task: Tujuan apa yang memungkinkan transfer zero-shot umum?
2. Model: Arsitektur apa yang mendukung prompting fleksibel secara real-time sekaligus mengatasi ambiguitas visual bawaan?
3. Data: Bagaimana cara memperoleh mask segmentasi berskala web ketika data internet tidak memiliki anotasi mask yang padat?

Ide utama

• Promptable Segmentation Task: Model harus menghasilkan mask segmentasi yang valid untuk setiap prompt yang diberikan—seperti titik latar depan/latar belakang, bounding box, mask padat, atau teks bebas. Ketika sebuah prompt bersifat ambigu (misalnya, satu titik pada kemeja), model harus menghasilkan beberapa mask hierarkis yang masuk akal (subbagian, bagian, keseluruhan).
• Asymmetric Amortized Architecture (SAM): Image encoder yang berat secara komputasi dijalankan sekali per gambar untuk menghasilkan embedding, sementara prompt encoder yang ringan dan Transformer decoder dua lapis mengevaluasi prompt dalam waktu $\sim 50\text{ ms}$ pada CPU di dalam peramban web.
• Flywheel Data Engine: Pipeline anotasi tiga tahap:
  1. Assisted-manual: SAM membantu anotasator di peramban, memangkas waktu anotasi dari 34 detik menjadi 14 detik per mask (mengumpulkan 4,3 juta mask).
  2. Semi-automatic: SAM mendeteksi mask yang meyakinkan untuk memandu anotasator menuju objek yang belum dianotasi dan kurang menonjol (mengumpulkan tambahan 5,9 juta mask).
  3. Fully automatic: SAM diberi prompt pada grid titik seragam berukuran $32\times 32$ ditambah potongan gambar yang diperbesar (zoomed-in crop), menghasilkan 1,1 miliar mask di SA-1B.

Metode

Arsitektur Model

SAM terdiri dari tiga komponen:

1. Image Encoder: Vision Transformer yang di-pretrain dengan MAE (secara default ViT-H/16) yang diadaptasi dengan windowed attention dan empat blok global attention, memproses input $1024\times 1024$ untuk menghasilkan embedding berukuran $64\times 64$ dengan 256 kanal.
2. Prompt Encoder:
   • Prompt renggang (sparse): Titik dan bounding box dipetakan ke vektor 256 dimensi menggunakan positional encoding yang dijumlahkan dengan learned type embedding. Teks bebas dienkode menggunakan text encoder milik CLIP.
   • Prompt padat (dense): Mask input (pada resolusi $4\times$ lebih rendah) diperkecil melalui konvolusi $2\times 2$ dengan stride-2 dan ditambahkan secara element-wise ke image embedding.
3. Mask Decoder: Transformer decoder modifikasi dua lapis. Komponen ini memperbarui prompt token dan image embedding melalui self-attention prompt dan cross-attention dua arah (token-ke-gambar dan gambar-ke-token) secara bergantian. Fitur gambar diperbesar $4\times$ melalui transposed convolution, dan sebuah MLP memproyeksikan token output untuk menghasilkan dynamic linear classifier yang diterapkan secara point-wise pada fitur yang telah diperbesar tersebut.

Ambiguity-Aware Output dan Loss

Satu prompt sering kali mendeskripsikan beberapa struktur yang bersarang. SAM mengatasi ambiguitas dengan memprediksi 3 mask sekaligus beserta estimasi skor IoU masing-masing. Selama pelatihan, backpropagation hanya diterapkan pada loss minimum di antara kandidat tersebut: $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ Sebuah auxiliary head meminimalkan mean-squared-error antara IoU yang diprediksi dan ground truth IoU: $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ Ketika beberapa prompt diberikan sekaligus, SAM menghasilkan satu mask tunggal yang tidak ambigu menggunakan token output khusus keempat.

Hasil

• Zero-Shot Point-to-Mask Transfer: Di 23 dataset segmentasi yang beragam (termasuk citra egosentris, bawah air, udara, dan mikroskopi), SAM mengungguli RITM pada 16 dari 23 dataset hanya menggunakan satu prompt titik tengah (dengan selisih mencapai $+46,9$ IoU). Ketika ambiguitas diatasi melalui oracle selector dari 3 prediksi SAM, SAM mengungguli RITM di seluruh 23 dataset. Penilaian kualitas manusia secara konsisten menilai SAM jauh lebih tinggi (antara 7 hingga 9 dari 10).
• Zero-Shot Edge Detection (BSDS500): Dievaluasi secara zero-shot menggunakan grid $16\times 16$ dengan filter Sobel dan edge NMS, SAM mencapai ODS sebesar 0,768 dan R50 sebesar 0,928, bersaing kompetitif dengan model supervised seperti HED (ODS 0,788, R50 0,923).
• Zero-Shot Object Proposals (LVIS v1): SAM mencetak 59,3 AR@1000 tanpa supervisi kelas, mengungguli baseline ViTDet-H yang sepenuhnya terawasi pada objek berukuran sedang (81,6 vs. 80,8), objek besar (86,9 vs. 87,0), dan kategori langka (65,8 vs. 58,3).
• Zero-Shot Instance Segmentation: Ketika diberi prompt berupa bounding box ViTDet, SAM mencapai 46,5 AP pada COCO dan 44,7 AP pada LVIS. Dalam evaluasi manusia, anotasator secara konsisten menilai mask SAM lebih bersih dan berkualitas lebih tinggi daripada output ViTDet yang diawasi penuh.

Keterbatasan dan pertanyaan terbuka

• Detail halus dan pembesaran ekstrem: SAM dapat melewatkan struktur yang sangat halus atau menghasilkan komponen kecil yang terputus-putus dibandingkan dengan metode interaktif berat komputasi yang secara eksplisit memperbesar bagian gambar (zoom-in crop).
• Latensi pipeline penuh: Meskipun proses decoding prompt berjalan secara real-time ($\sim 50\text{ ms}$), menjalankan image encoder ViT-H yang berat tidaklah real-time.
• Pemahaman semantik: SAM menghasilkan mask yang class-agnostic; model ini tidak secara bawaan menyediakan label kategori semantik atau panoptik tanpa pengklasifikasi eksternal yang dapat digabungkan.
• Text-to-mask prompting: Pipeline prompting teks yang selaras dengan CLIP zero-shot masih bersifat awal dan sensitif dibandingkan dengan prompt geometris.