An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy; Lucas Beyer; Alexander Kolesnikov; Dirk Weissenborn; Xiaohua Zhai; Thomas Unterthiner; Mostafa Dehghani; Matthias Minderer; Georg Heigold; Sylvain Gelly; Jakob Uszkoreit; Neil Houlsby

Makaleler · arXiv 2010.11929

Bir Görüntü 16x16 Kelimeye Bedeldir: Ölçeklenebilir Görüntü Tanıma için Transformer'lar

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby

Yayımlanma 2020-10-22cs.CVcs.AIcs.LG arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Evrişimli sinir ağları, güçlü tümevarımsal eğilimleri (inductive bias) sayesinde bilgisayarlı görüye hakim olmuştur; standart Transformer'lar ise 2D görüntülere doğrudan ve ölçeklenebilir bir uygulamadan yoksundu.
🔧 Bir görüntüyü sabit boyutlu düzleştirilmiş yamalara (örn. 16x16) bölün, bunları doğrusal olarak belirteç gömmelerine yansıtın, konum gömmelerini ekleyin ve başa eklenen bir [class] belirteci ile standart bir Transformer encoder katmanından geçirin.
📈 JFT-300M üzerinde önceden eğitildiğinde ViT-H/14; ImageNet'te %88,55, ImageNet ReaL'de %90,72 ve VTAB'de %77,63 top-1 doğruluğuna ulaşırken, benzer CNN'lere kıyasla önemli ölçüde daha az ön eğitim hesaplama kaynağı kullanır.

Özet

Transformer mimarisi doğal dil işleme görevleri için fiili standart haline gelmiş olsa da, bilgisayarlı görüdeki uygulamaları sınırlı kalmıştır. Görüde dikkat mekanizması ya evrişimli ağlarla birlikte uygulanmakta ya da genel yapı korunarak evrişimli ağların belirli bileşenlerinin yerini almak üzere kullanılmaktadır. CNN'lere olan bu bağımlılığın zorunlu olmadığını ve doğrudan görüntü yamaları dizilerine uygulanan saf bir transformer modelinin görüntü sınıflandırma görevlerinde oldukça iyi performans gösterebileceğini ortaya koyuyoruz. Vision Transformer (ViT), büyük miktarda veri üzerinde önceden eğitilip birden fazla orta veya küçük boyutlu görüntü tanıma kıyaslamasına (ImageNet, CIFAR-100, VTAB vb.) aktarıldığında, son teknoloji evrişimli ağlara kıyasla mükemmel sonuçlar elde ederken eğitim için önemli ölçüde daha az bilgi işlem kaynağı gerektirir.

Orijinal özet (İngilizce)

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train.

Okuma rehberi

Problem ve motivasyon

Evrişimli mimariler (örneğin ResNet), öteleme eşdeğişirliği (translation equivariance) ve iki boyutlu yerellik gibi önceden kodlanmış tümevarımsal eğilimler (inductive biases) sayesinde modern bilgisayarlı görünün temelini uzun süredir oluşturmaktadır. Transformer'lar, hesaplama verimliliği ve devasa ölçeklenebilirlikleri sayesinde doğal dil işlemede (NLP) standart haline gelirken, öz-dikkat mekanizmasını görüye taşıma konusundaki önceki girişimler genellikle dikkati CNN omurgalarıyla birleştirmiş veya donanım hızlandırıcılarda verimli bir şekilde ölçeklenmesi zor olan özelleşmiş yerel/eksenel dikkat kalıpları kullanmıştır. Bu makale, minimal modifikasyonlarla doğrudan görüntü yamaları dizilerine uygulanan saf bir Transformer mimarisinin, son teknoloji CNN'lere rakip olup olamayacağını veya onları geride bırakıp bırakamayacağını araştırmaktadır.

Temel fikirler

Kelime Dizileri Olarak Görüntüler: Bir $x \in R^{H \times W \times C}$ görüntüsü, $P \times P$ boyutunda örtüşmeyen yamalara bölünür. Düzleştirilmiş yamalar, NLP belirteçleri (token) ile tamamen aynı şekilde ele alınır.
Minimal Tümevarımsal Eğilim (Inductive Bias): Uzamsal yerellik ve öteleme eşdeğişirliğinin her katmanda mevcut olduğu CNN'lerin aksine ViT, yamalar arasında genel (global) öz-dikkat kullanır. 2D yapıya yalnızca yamalar çıkarılırken ve daha yüksek çözünürlüklü ince ayar (fine-tuning) için konum gömmeleri enterpole edilirken başvurulur.
Ölçek, Tümevarımsal Eğilimi Geride Bırakır: Güçlü bir tümevarımsal eğilim olmadan ViT, küçük ve orta ölçekli veri kümelerinde (ağır düzenlileştirme uygulanmayan standart ImageNet gibi) ResNet'lerin gerisinde kalır. Ancak, büyük veri kümeleri üzerinde önceden eğitildiğinde (14 milyon görüntülü ImageNet-21k veya 303 milyon görüntülü JFT-300M), ViT önemli ölçüde daha az eğitim FLOP'u tüketirken CNN performansına eşdeğer veya daha üstün sonuçlar verir.

Yöntem

Yama Gömme (Patch Embedding) ve Girdi Oluşturma: Verilen $(P, P)$ yama boyutu için bir görüntü $N = H W / P^{2}$ adet yama üretir. Düzleştirilmiş her bir $x_{p}^{i} \in R^{P^{2} \cdot C}$ yaması, $E \in R^{(P^{2} \cdot C) \times D}$ matrisi ile doğrusal olarak $D$ boyutuna yansıtılır. Öğrenilebilir bir sınıflandırma belirteci olan $x_{class}$ başa eklenir ve 1D öğrenilebilir konum gömmeleri $E_{p os} \in R^{(N + 1) \times D}$ ilave edilir: $z_{0} = [x_{class}; x_{p}^{1} E; x_{p}^{2} E; \dots; x_{p}^{N} E] + E_{p os}$
Transformer Encoder Katmanları: Dizi, Multihead Self-Attention (MSA) ve MLP bloklarını dönüştüren, LayerNorm (LN) öncesi ve artık bağlantılar (residual connections) kullanan $L$ adet özdeş bloktan geçer: $z_{ℓ}^{'} = MSA (LN (z_{ℓ - 1})) + z_{ℓ - 1}, ℓ = 1 \dots L$ $z_{ℓ} = MLP (LN (z_{ℓ}^{'})) + z_{ℓ}^{'}, ℓ = 1 \dots L$
Temsil ve Başlık (Head): Temsil, ilk çıktı belirtecinden elde edilir: $y = LN (z_{L}^{0})$ Ön eğitim sırasında küçük bir MLP (tek gizli katmanlı) sınıflandırma başlığı olarak işlev görür ve ince ayar (fine-tuning) aşamasında tek bir doğrusal projeksiyon ( $D \times K$ ) ile değiştirilir.
Daha Yüksek Çözünürlükte İnce Ayar (Fine-Tuning): Daha yüksek görüntü çözünürlüklerinde (örn. $384 \times 384$ veya $512 \times 512$ ) ince ayar yapılırken yama boyutu $P$ sabit tutulur, bu da dizi uzunluğu $N$ 'i artırır. Önceden eğitilmiş 1D konum gömmeleri, orijinal uzamsal ızgara konumlarına göre 2D bikübik enterpolasyon yoluyla ayarlanır.

Sonuçlar

SOTA ile Karşılaştırma:
- JFT-300M üzerinde önceden eğitilmiş ViT-H/14; ImageNet'te %88,55, ImageNet ReaL'de %90,72, CIFAR-100'de %94,55 ve 19 görevlik VTAB paketinde %77,63 elde etti ve bu işlem 2,5 bin TPUv3-çekirdek-günü sürdü.
- JFT-300M üzerinde önceden eğitilmiş ViT-L/16, yalnızca 0,68 bin TPUv3-çekirdek-günü ile ImageNet'te %87,76'ya ulaşarak BiT-L'yi (ResNet152x4, %87,54, 9,9 bin TPUv3-çekirdek-günü) geride bıraktı ve Noisy Student EfficientNet-L2'ye yaklaştı (%88,4/%88,5, 12,3 bin TPUv3-çekirdek-günü).
- Halka açık veri kümesiyle ön eğitim: ImageNet-21k üzerinde önceden eğitilen ViT-L/16, ImageNet'te %85,30'a ulaştı.
Hesaplama Maliyeti - Performans Dengesi: JFT-300M üzerindeki ölçeklendirme deneylerinde saf ViT, Pareto sınırında ResNet'lere üstünlük kurdu ve eşdeğer doğruluk elde etmek için $2 \times$ ila $4 \times$ daha az hesaplama kaynağı gerektirdi.
Dahili Temsiller: Alt katmanlar, küçük ve yerelleştirilmiş dikkat mesafelerine sahip başlıkların yanı sıra tüm görüntü genelinde dikkat uygulayan dikkat başlıkları da içerir. Dikkat mesafesi genellikle derinlikle birlikte monoton bir şekilde artar.

Sınırlılıklar ve açık sorular

Veri Açlığı: ViT, kapsamlı ön eğitim verisi (ImageNet-21k veya JFT-300M) ya da yoğun düzenlileştirme olmadan küçük veri kümelerinde zayıf genelleme performansı gösterir.
Kendi Kendini Denetleme Açığı (Self-Supervised Gap): Maskelenmiş yama tahmini ile yapılan ilk deneyler ImageNet'te %79,9'a ulaşmış (ViT-B/16), bu da denetimli ön eğitime kıyasla %4'lük bir performans açığı bırakmıştır.
Yoğun Tahmin Görevlerine Uygulama: Bu ilk çalışma yalnızca sınıflandırmaya odaklanmaktadır; saf yama transformer'larının nesne tespiti ve anlamsal segmentasyon gibi yoğun uzamsal görevlere uyarlanması güncel bir araştırma konusu olmaya devam etmektedir.

Temel terimler

Vision Transformer (ViT): Evrişimli öznitelik çıkarımı olmaksızın, görme görevleri için doğrudan örtüşmeyen görüntü yamaları dizilerine uygulanan saf bir Transformer mimarisi.
Patch Embeddings: Düzleştirilmiş $P \times P$ piksel yamalarının modelin gizli uzayına doğrusal olarak yansıtılmasıyla elde edilen $D$ boyutlu temsiller.
Classification Token ([class]): Yama dizisinin başına eklenen ve son Transformer katmanından sonraki çıktı durumu genel görüntü temsili olarak kullanılan öğrenilebilir bir belirteç.
Inductive Bias: Yerleşik mimari varsayımlar; CNN'lerde bunlar, ViT'te büyük ölçüde bulunmayan uzamsal yerellik ve öteleme eşdeğişirliğini içerir.
Position Embeddings: Dizi içindeki uzamsal sıralama bilgisini korumak için yama gömmelerine eklenen 1D öğrenilebilir vektörler.
Attention Distance: Bir dikkat başlığının bilgiyi bütünleştirdiği görüntüdeki ortalama uzamsal mesafe; kavramsal olarak CNN'lerdeki alıcı alan (receptive field) boyutuna benzer.
Hybrid Architecture: Yama gömme projeksiyonunun ham görüntü pikselleri yerine erken bir evrişimli omurgadan çıkarılan öznitelik haritalarına uygulandığı bir model.
Visual Task Adaptation Benchmark (VTAB): Doğal, Uzmanlaşmış ve Yapılandırılmış gruplar olarak kategorize edilmiş, görev başına 1.000 örnek kullanılarak değerlendirilen 19 farklı görme görevinden oluşan bir kıyaslama paketi.

Sorular

ViT, ImageNet-1k gibi daha küçük veri kümelerinde neden ResNet'ten daha düşük performans gösteriyor?

Transformer'lar yerellik ve öteleme eşdeğişirliği gibi evrişimli tümevarımsal eğilimlerden yoksundur. Daha küçük veri kümelerinde ViT aşırı öğrenmeye (overfitting) meyillidir çünkü uzamsal ilişkileri sıfırdan öğrenmesi gerekir; ResNet'in önceden kodlanmış tümevarımsal eğilimleri ise onu sınırlı verilerde örnek açısından daha verimli kılar.

ViT, ince ayar (fine-tuning) sırasında farklı veya daha yüksek çözünürlükteki görüntüleri nasıl işler?

ViT yama boyutunu sabit tutar, bu da toplam dizi uzunluğunu artırır. Önceden eğitilmiş 1D konum gömmeleri orijinal 2D ızgaraya geri eşlenir ve yeni ızgara boyutuna uyacak şekilde 2D bikübik enterpolasyon kullanılarak enterpole edilir.

2D duyarlı konum gömmeleri, ViT performansını standart 1D gömmelere göre artırır mı?

Hayır. Yazarlar, modelin 2D satır/sütun topolojisini kendi başına kolayca öğrenmesi nedeniyle, 2D koordinat gömmelerinin veya göreli konum gömmelerinin standart öğrenilebilir 1D konum gömmeleriyle neredeyse aynı performansı verdiğini tespit etmiştir.

ViT ile Hibrit mimari arasındaki fark nedir?

Saf ViT, ham girdi görüntüsünü doğrudan $P \times P$ piksellik yamalara böler ve doğrusal bir projeksiyon uygular. Hibrit model ise görüntüyü önce bir ResNet omurgasından geçirir ve yama belirteçlerini elde edilen ara öznitelik haritasından çıkarır.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku