Segment Anything

Leseleitfaden

Problem und Motivation

Basismodelle, die auf Daten im Webskalenbereich vortrainiert wurden, haben das NLP und das Vision-Language-Alignment (z. B. CLIP) revolutioniert. Dem allgemeinen Computer Vision fehlt jedoch ein grundlegendes System, das zu einer breiten Zero-Shot-Generalisierung über diverse Segmentierungsaufgaben hinweg in der Lage ist. Bestehende Datensätze für die Bildsegmentierung sind im Vergleich zu Bild-Text-Korpora im Webskalenbereich klein, und konventionelle Segmentierungsarchitekturen sind typischerweise an feste semantische Klassen oder spezialisierte interaktive Setups gebunden.

Um ein Vision-Basismodell für die Segmentierung zu entwickeln, adressieren die Autoren gleichzeitig drei Kernelemente:

1. Aufgabe: Welches Ziel ermöglicht einen allgemeinen Zero-Shot-Transfer?
2. Modell: Welche Architektur unterstützt flexibles Prompting in Echtzeit und löst gleichzeitig inhärente visuelle Mehrdeutigkeiten auf?
3. Daten: Wie können Segmentierungsmasken im Webskalenbereich erfasst werden, wenn Internetdaten keine dichten Maskenannotationen aufweisen?

Kernideen

• Promptable Segmentation Task: Das Modell muss für jeden beliebigen Prompt – wie Vordergrund-/Hintergrundpunkte, Bounding Boxes, dichte Masken oder Freitext – eine gültige Segmentierungsmaske zurückgeben. Wenn ein Prompt mehrdeutig ist (z. B. ein einzelner Punkt auf einem Hemd), muss das Modell mehrere plausible hierarchische Masken ausgeben (Unterteil, Teil, Ganzes).
• Asymmetrische amortisierte Architektur (SAM): Ein rechenintensiver Bild-Encoder läuft einmal pro Bild, um ein Embedding zu erzeugen, während ein leichtgewichtiger Prompt-Encoder und ein zweilagiger Transformer-Decoder Prompts in $\sim 50\text{ ms}$ auf einer CPU im Webbrowser verarbeiten.
• Flywheel Data Engine: Eine dreistufige Annotationspipeline:
  1. Assisted-manual: SAM unterstützt Annotatoren im Browser, wodurch die Annotationszeit von 34 s auf 14 s pro Maske sinkt (Erfassung von 4,3 Mio. Masken).
  2. Semi-automatic: SAM erkennt konfidente Masken, um Annotatoren auf unannotierte, weniger prominente Objekte hinzuweisen (Erfassung von zusätzlichen 5,9 Mio. Masken).
  3. Fully automatic: SAM wird auf einem gleichmäßigen $32\times 32$-Punktegitter plus herangezoomten Bildausschnitten gepromptet, was die 1,1 Milliarden Masken in SA-1B generiert.

Methode

Modellarchitektur

SAM besteht aus drei Komponenten:

1. Image Encoder: Ein mit MAE vortrainierter Vision Transformer (Standard: ViT-H/16), angepasst mit Windowed Attention und vier globalen Attention-Blöcken, der $1024\times 1024$-Eingaben verarbeitet, um ein $64\times 64$-Embedding mit 256 Kanälen zu erzeugen.
2. Prompt Encoder:
   • Sparse Prompts: Punkte und Bounding Boxes werden mithilfe von Positionskodierungen, summiert mit gelernten Typ-Embeddings, auf 256-dimensionale Vektoren abgebildet. Freitext wird mit dem Text-Encoder von CLIP kodiert.
   • Dense Prompts: Eingabemasken (bei $4\times$ geringerer Auflösung) werden über $2\times 2$-Faltungen mit Stride 2 herunterskaliert und elementweise zum Bild-Embedding addiert.
3. Mask Decoder: Ein modifizierter zweilagiger Transformer-Decoder. Er aktualisiert Prompt-Tokens und Bild-Embeddings durch abwechselnde Prompt-Self-Attention und bidirektionale Cross-Attention (Tokens-zu-Bild und Bild-zu-Tokens). Die Bildmerkmale werden über transponierte Faltungen $4\times$ hochskaliert, und ein MLP projiziert das Ausgabe-Token, um einen dynamischen linearen Klassifikator zu erzeugen, der punktweise auf die hochskalierten Merkmale angewendet wird.

Mehrdeutigkeitsbewusste Ausgabe und Loss

Ein einzelner Prompt beschreibt oft mehrere verschachtelte Strukturen. SAM begegnet dieser Mehrdeutigkeit, indem es gleichzeitig 3 Masken mit den entsprechenden geschätzten IoU-Scores vorhersagt. Während des Trainings erfolgt die Backpropagation nur für den minimalen Verlust unter den Kandidaten: $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ Ein Hilfskopf minimiert den mittleren quadratischen Fehler zwischen der vorhergesagten IoU und der Ground-Truth-IoU: $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ Werden mehrere Prompts bereitgestellt, gibt SAM über ein viertes dediziertes Ausgabe-Token eine einzelne eindeutige Maske aus.

Ergebnisse

• Zero-Shot Point-to-Mask-Transfer: Über 23 verschiedene Segmentierungsdatensätze hinweg (darunter egozentrische, Unterwasser-, Luftbild- und Mikroskopieaufnahmen) übertrifft SAM RITM auf 16 von 23 Datensätzen bei Verwendung eines einzelnen Mittelpunkt-Prompts (mit Differenzen von bis zu $+46,9$ IoU). Wenn Mehrdeutigkeiten über einen Orakel-Selektor aus den 3 Vorhersagen von SAM aufgelöst werden, übertrifft SAM RITM auf allen 23 Datensätzen. Menschliche Qualitätsbewertungen stufen SAM durchweg signifikant höher ein (zwischen 7 und 9 von 10 Punkten).
• Zero-Shot-Kantenerkennung (BSDS500): Bei Zero-Shot-Evaluierung unter Verwendung eines $16\times 16$-Gitters mit Sobel-Filterung und Kanten-NMS erzielt SAM einen ODS von 0,768 und ein R50 von 0,928 und ist damit konkurrenzfähig zu überwachten Modellen wie HED (ODS 0,788, R50 0,923).
• Zero-Shot Object Proposals (LVIS v1): SAM erreicht ohne Klassenüberwachung 59,3 AR@1000 und übertrifft eine vollüberwachte ViTDet-H-Baseline bei mittleren Objekten (81,6 vs. 80,8), großen Objekten (86,9 vs. 87,0) und seltenen Kategorien (65,8 vs. 58,3).
• Zero-Shot-Instanzsegmentierung: Gepromptet mit ViTDet-Bounding-Boxes erreicht SAM 46,5 AP auf COCO und 44,7 AP auf LVIS. In menschlichen Bewertungen stufen Annotatoren die Masken von SAM konsistent als sauberer und qualitativ hochwertiger ein als die Ausgaben des vollüberwachten ViTDet.

Grenzen und offene Fragen

• Feine Details und extremer Zoom: SAM kann im Vergleich zu rechenintensiven interaktiven Methoden, die explizit in Bildausschnitte hineinzoomen, ultrafeine Strukturen übersehen oder kleine unzusammenhängende Komponenten erzeugen.
• Latenz der Gesamtpipeline: Während das Prompt-Decoding in Echtzeit abläuft ($\sim 50\text{ ms}$), ist die Ausführung des schweren ViT-H-Bild-Encoders nicht echtzeitfähig.
• Semantisches Verständnis: SAM liefert klassenagnostische Masken; ohne kombinierbare externe Klassifikatoren liefert es nativ keine semantischen oder panoptischen Kategorieneinordnungen.
• Text-to-Mask-Prompting: Die auf CLIP ausgerichtete Zero-Shot-Text-Prompting-Pipeline ist im Vergleich zu geometrischen Prompts noch vorläufig und empfindlich.