Segment Anything

Okuma rehberi

Problem ve motivasyon

Web ölçeğindeki verilerle önceden eğitilmiş temel modeller, NLP ve görüntü-dil uyumunda (ör. CLIP) devrim yarattı; ancak genel bilgisayarla görme alanı, çeşitli bölümleme görevleri genelinde kapsamlı sıfır vuruşlu genelleme yeteneğine sahip temel bir sistemden yoksundur. Görüntü bölümleme için mevcut veri kümeleri, web ölçeğindeki görüntü-metin külliyatlarına kıyasla küçüktür ve geleneksel bölümleme mimarileri genellikle sabit anlamsal sınıflara veya özel etkileşimli kurulumlara bağlıdır.

Bölümleme için bir temel görme modeli oluşturmak amacıyla yazarlar üç temel unsuru aynı anda ele almaktadır:

1. Görev: Hangi amaç işlevi genel sıfır vuruşlu aktarıma olanak tanır?
2. Model: Doğal görsel belirsizliği çözerken esnek komut istemini gerçek zamanlı olarak hangi mimari destekler?
3. Veri: İnternet verileri yoğun maske etiketlerinden yoksun olduğunda, web ölçeğinde bölümleme maskeleri nasıl elde edilebilir?

Önemli fikirler

• Komut Tabanlı Bölümleme Görevi (Promptable Segmentation Task): Model; ön plan/arka plan noktaları, sınırlayıcı kutular, yoğun maskeler veya serbest biçimli metin gibi herhangi bir komut verildiğinde geçerli bir bölümleme maskesi döndürmelidir. Bir komut belirsiz olduğunda (örneğin bir gömlek üzerindeki tek bir nokta), model birden fazla olası hiyerarşik maske (alt parça, parça, bütün) üretmelidir.
• Asimetrik Amorti Edilmiş Mimari (SAM): Ağır hesaplama gerektiren bir görüntü kodlayıcı, bir gömme (embedding) üretmek için görsel başına bir kez çalışırken, hafif bir komut kodlayıcı ve iki katmanlı Transformer kod çözücü, komutları bir web tarayıcısındaki CPU üzerinde $\sim 50\text{ ms}$ içinde değerlendirir.
• Çark Veri Motoru (Flywheel Data Engine): Üç aşamalı bir etiketleme hattı:
  1. Destekli-manuel: SAM, tarayıcıda etiketleyicilere yardımcı olarak maske başına etiketleme süresini 34 saniyeden 14 saniyeye düşürdü (4,3 milyon maske toplandı).
  2. Yarı otomatik: SAM, etiketleyicileri etiketlenmemiş, daha az belirgin nesnelere yönlendirmek için kendinden emin olduğu maskeleri algılar (5,9 milyon ek maske toplandı).
  3. Tam otomatik: SAM, tekdüze bir $32\times 32$ nokta ızgarası ve yakınlaştırılmış görüntü kırpmaları üzerinde tetiklenerek SA-1B'deki 1,1 milyar maskeyi üretti.

Yöntem

Model Mimarisi

SAM üç bileşenden oluşur:

1. Görüntü Kodlayıcı (Image Encoder): $1024\times 1024$ girişleri işleyerek 256 kanallı $64\times 64$ bir gömme üretmek üzere pencereli dikkat (windowed attention) ve dört genel dikkat bloğu ile uyarlanmış, MAE ile önceden eğitilmiş bir Vision Transformer (varsayılan ViT-H/16).
2. Komut Kodlayıcı (Prompt Encoder):
   • Seyrek komutlar: Noktalar ve sınırlayıcı kutular, öğrenilmiş tip gömmeleriyle toplanan konumsal kodlamalar kullanılarak 256 boyutlu vektörlere dönüştürülür. Serbest biçimli metin, CLIP'in metin kodlayıcısı kullanılarak kodlanır.
   • Yoğun komutlar: Girdi maskeleri ($4\times$ daha düşük çözünürlükte), $2\times 2$ adım büyüklüğüne (stride-2) sahip evrişimler yoluyla alt örneğe dönüştürülür ve görüntü gömme vektörüne eleman bazında eklenir.
3. Maske Kod Çözücü (Mask Decoder): İki katmanlı, değiştirilmiş bir Transformer kod çözücüsü. Dönüşümlü komut öz-dikkati (self-attention) ve iki yönlü çapraz dikkat (cross-attention; komutlardan görüntüye ve görüntüden komutlara) yoluyla komut belirteçlerini ve görüntü gömmelerini günceller. Görüntü öznitelikleri, devrik evrişimler (transposed convolutions) yoluyla $4\times$ büyütülür ve bir MLP, büyütülmüş özniteliklere nokta bazında uygulanan dinamik bir doğrusal sınıflandırıcı üretmek üzere çıktı belirtecini yansıtır.

Belirsizliğe Duyarlı Çıktı ve Kayıp Fonksiyonu

Tek bir komut genellikle birden fazla iç içe yapıyı tanımlar. SAM, ilgili tahmini IoU skorlarıyla birlikte aynı anda 3 maske tahmin ederek belirsizliği çözer. Eğitim sırasında geri yayılım yalnızca adaylar arasındaki minimum kayba uygulanır: $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ Yardımcı bir başlık, tahmin edilen IoU ile temel gerçeklik IoU arasındaki ortalama kare hatasını en aza indirir: $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ Birden fazla komut sağlandığında SAM, dördüncü bir özel çıktı belirteci kullanarak tek bir belirgin maske üretir.

Sonuçlar

• Sıfır Vuruşlu Noktadan Maskeye Aktarım (Zero-Shot Point-to-Mask Transfer): 23 farklı bölümleme veri kümesinde (benmerkezci, su altı, hava ve mikroskopi görüntüleri dahil), SAM, tek bir merkez noktası komutu kullanarak 23 veri kümesinin 16'sında RITM'den daha iyi performans gösterir ($+46.9$ IoU'ya varan farklarla). Belirsizlik, SAM'in 3 tahmini üzerinde bir kâhin (oracle) seçici aracılığıyla çözüldüğünde SAM, 23 veri kümesinin tamamında RITM'i geride bırakır. İnsan kalite değerlendirmeleri tutarlı bir şekilde SAM'i önemli ölçüde daha yüksek puanlamaktadır (10 üzerinden 7 ila 9 arasında).
• Sıfır Vuruşlu Kenar Algılama (BSDS500): Sobel filtreleme ve kenar NMS ile $16\times 16$ bir ızgara kullanılarak sıfır vuruşla değerlendirilen SAM, 0,768 ODS ve 0,928 R50 elde ederek HED gibi denetimli modellerle rekabetçi bir performans sergiler (ODS 0,788, R50 0,923).
• Sıfır Vuruşlu Nesne Önerileri (LVIS v1): SAM, sınıf denetimi olmaksızın 59,3 AR@1000 puanı alarak orta ölçekli nesnelerde (81,6'ya karşı 80,8), büyük nesnelerde (86,9'a karşı 87,0) ve nadir kategorilerde (65,8'e karşı 58,3) tam denetimli bir ViTDet-H referans modelini geride bırakır.
• Sıfır Vuruşlu Örnek Bölümleme (Zero-Shot Instance Segmentation): ViTDet sınırlayıcı kutuları ile komut verildiğinde SAM, COCO'da 46,5 AP'ye ve LVIS'te 44,7 AP'ye ulaşır. İnsan değerlendirmelerinde etiketleyiciler, SAM maskelerini tam denetimli ViTDet çıktılarından tutarlı olarak daha temiz ve daha yüksek kaliteli olarak puanlamaktadır.

Sınırlılıklar ve açık sorular

• İnce ayrıntılar ve aşırı yakınlaştırma: Doğrudan kırpmalara yakınlaştırma yapan yoğun hesaplamalı etkileşimli yöntemlerle karşılaştırıldığında SAM, son derece ince yapıları kaçırabilir veya küçük kopuk bileşenler üretebilir.
• Tüm boru hattı gecikmesi: Komut çözme gerçek zamanlı olsa da ($\sim 50\text{ ms}$), ağır ViT-H görüntü kodlayıcısını çalıştırmak gerçek zamanlı değildir.
• Anlamsal kavrayış: SAM sınıftan bağımsız maskeler üretir; harici sınıflandırıcılar olmadan yerel olarak anlamsal veya panoptik kategori etiketleri sağlamaz.
• Metinden maskeye yönlendirme: Sıfır vuruşlu CLIP uyumlu metin komutu boru hattı, geometrik komutlara kıyasla henüz başlangıç aşamasındadır ve hassastır.