Segment Anything

論文解説

問題設定と動機

ウェブスケールのデータで事前学習された基盤モデルは、自然言語処理（NLP）や視覚言語アライメント（CLIPなど）に革命をもたらしましたが、一般的なコンピュータビジョン分野には、多様なセグメンテーションタスクにわたって広範なゼロショット汎化を達成できる基盤システムがまだ存在していませんでした。既存の画像セグメンテーション用データセットはウェブスケールの画像・テキストコーパスに比べて規模が小さく、従来のセグメンテーションアーキテクチャは固定されたセマンティッククラスや特殊な対話型設定に縛られがちでした。

セグメンテーションのためのビジョン基盤モデルを構築するため、著者らは以下の3つの核となる要素に同時に取り組みました：

1. タスク: 汎用的なゼロショット転移を可能にする目標は何か？
2. モデル: 固有の視覚的曖昧性を解消しながら、リアルタイムで柔軟なプロンプト処理を可能にするアーキテクチャは何か？
3. データ: インターネット上のデータには高密度なマスクアノテーションが欠如している中で、ウェブスケールのセグメンテーションマスクをどのように取得するか？

主要なアイデア

• プロンプト駆動型セグメンテーションタスク（Promptable Segmentation Task）: モデルは、前景/背景ポイント、バウンディングボックス、密なマスク、自由形式のテキストなど、任意のプロンプトが与えられた際に有効なセグメンテーションマスクを返す必要があります。プロンプトが曖昧な場合（シャツの上の単一ポイントなど）、モデルは階層的な複数の妥当なマスク（部分、パーツ、全体）を出力しなければなりません。
• 非対称な償却アーキテクチャ（SAM）: 計算負荷の高い画像エンコーダを画像あたり1回だけ実行して埋め込みを生成し、軽量なプロンプトエンコーダと2層のTransformerデコーダが、ウェブブラウザ内のCPU上で約 $50\text{ ms}$ でプロンプトを処理します。
• フライホイール・データエンジン: 3段階のアノテーションパイプライン：
  1. 支援付き手動（Assisted-manual）: ブラウザ上でSAMがアノテーターを支援し、マスク1枚あたりのアノテーション時間を34秒から14秒へと短縮（430万個のマスクを収集）。
  2. 半自動（Semi-automatic）: SAMが信頼度の高いマスクを検出し、アノテーターに未注記の目立たないオブジェクトへ注釈を促す（さらに590万個のマスクを収集）。
  3. 完全自動（Fully automatic）: SAMに均一な $32\times 32$ のグリッドポイントとズームインされた画像クロップを与え、SA-1B内の11億個のマスクを生成。

手法

モデルアーキテクチャ

SAMは主に3つのコンポーネントで構成されています：

1. 画像エンコーダ: MAEで事前学習されたVision Transformer（デフォルトはViT-H/16）をウィンドウアテンションと4つのグローバルアテンションブロックで適応させ、$1024\times 1024$ の入力を処理して256チャネルの $64\times 64$ の埋め込みを生成。
2. プロンプトエンコーダ:
   • スパースなプロンプト: ポイントとバウンディングボックスは、位置エンコーディングと学習されたタイプ埋め込みの和を用いて256次元ベクトルにマッピング。自由形式のテキストはCLIPのテキストエンコーダを用いてエンコード。
   • デンスなプロンプト: 入力マスク（解像度が $4\times$ 低い）は、ストライド2の $2\times 2$ 畳み込みによってダウンスケールされ、画像埋め込みへ要素ごとに加算。
3. マスクデコーダ: 2層の改良型Transformerデコーダ。プロンプト自己アテンションと双方向クロスアテンション（トークンから画像、および画像からトークン）を交互に行うことで、プロンプトトークンと画像埋め込みを更新。画像特徴量は転置畳み込みによって $4\times$ アップスケールされ、MLPが出力トークンを射影して動的線形分類器を生成し、アップスケールされた特徴量に対してポイントごとに適用。

曖昧性を考慮した出力と損失関数

単一のプロンプトが複数の入れ子構造を指すことはよくあります。SAMは、3つのマスクとそれらに対応する予測IoUスコアを同時に予測することで曖昧性に対処します。学習中、逆伝播は候補の中で最も損失が小さかったものにのみ適用されます： $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ 補助ヘッドにより、予測IoUと真のIoUの間の平均二乗誤差を最小化します： $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ 複数のプロンプトが提供された場合、SAMは4番目の専用出力トークンを使用して単一の一意なマスクを出力します。

結果

• ゼロショットのポイントからマスクへの転移: 23種類の多様なセグメンテーションデータセット（自己視点、水中、航空、顕微鏡画像などを含む）において、SAMは単一の中心点プロンプトを使用して23個中16個のデータセットでRITMを上回りました（差は最大 $+46.9$ IoU）。SAMの3つの予測の中からオラクル選択によって曖昧性を解決した場合、SAMは23個すべてのデータセットでRITMを凌駕します。人手による品質評価でも、SAMは一貫して有意に高い評価（10点満点中7〜9点）を得ています。
• ゼロショットエッジ検出（BSDS500）: SobelフィルタリングとエッジNMSを組み合わせた $16\times 16$ グリッドを用いたゼロショット評価において、SAMはODS 0.768、R50 0.928を達成し、HEDなどの教師ありモデル（ODS 0.788、R50 0.923）に匹敵する性能を示しました。
• ゼロショットオブジェクトプロポーザル（LVIS v1）: SAMはクラス監視なしでAR@1000が59.3に達し、中型オブジェクト（81.6対80.8）、大型オブジェクト（86.9対87.0）、希少カテゴリ（65.8対58.3）において完全教師ありViTDet-Hベースラインを上回りました。
• ゼロショットインスタンスセグメンテーション: ViTDetのバウンディングボックスをプロンプトとして与えた場合、SAMはCOCOで46.5 AP、LVISで44.7 APを達成しました。人手による定性評価では、アノテーターは完全教師ありViTDetの出力よりもSAMのマスクの方が一貫してクリーンで高品質であると評価しています。

限界と未解決の課題

• 微細なディテールと極端なズーム: SAMは、クロップ領域への明示的なズームインを行う計算負荷の高い対話型手法と比較して、極めて微細な構造を見落としたり、小さな孤立コンポーネントを生成してしまうことがあります。
• パイプライン全体のレイテンシ: プロンプトのデコード処理はリアルタイム（$\sim 50\text{ ms}$）ですが、重たいViT-H画像エンコーダの実行自体はリアルタイムではありません。
• セマンティックな理解: SAMはクラス非依存のマスクを出力します。外部の分類器を組み合わせない限り、ネイティブにセマンティックラベルやパノプティックカテゴリラベルを提供することはできません。
• テキストによるマスクプロンプティング: CLIPに整合させたゼロショットのテキストプロンプトパイプラインは、幾何学的プロンプトに比べてまだ初期段階であり、感度が高く不安定な面が残っています。