RoFormer: Enhanced Transformer with Rotary Position Embedding

Jianlin Su; Yu Lu; Shengfeng Pan; Ahmed Murtadha; Bo Wen; Yunfeng Liu

Makaleler · arXiv 2104.09864

RoFormer: Rotary Position Embedding ile Güçlendirilmiş Transformer

RoFormer: Enhanced Transformer with Rotary Position Embedding

Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu

Yayımlanma 2021-04-20cs.CLcs.AIcs.LG arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Standart konum gömmeleri ya toplamsal mutlak vektörlerdir ya da lineer self-attention ile uyumluluğu bozan göreli modifikasyonlardır.
🔧 RoPE, sorgu ve anahtar vektörlerini ortogonal blok-köşegen rotasyon matrisleriyle çarpar, böylece iç çarpımları yalnızca göreli token mesafesine bağlı olur.
📈 WMT 2014 En-De üzerinde 27.5 BLEU elde eder, ön eğitim sırasında daha hızlı yakınsar ve 1024 dizi uzunluğunda CAIL2019-SCM üzerinde WoBERT'ten %1,5 daha yüksek doğruluk sağlar.

Özet

Konum kodlama (position encoding), son zamanlarda transformer mimarisinde oldukça etkili olduğunu göstermiştir. Dizinin farklı konumlarındaki elemanlar arasındaki bağımlılık modellemesi için değerli bir denetim sağlar. Bu makalede, öncelikle konumsal bilgiyi transformer tabanlı dil modellerinin öğrenme sürecine entegre eden çeşitli yöntemleri inceliyoruz. Ardından, konumsal bilgiden etkili bir şekilde yararlanmak için Rotary Position Embedding (RoPE) adlı yeni bir yöntem öneriyoruz. Somut olarak, önerilen RoPE mutlak konumu bir rotasyon matrisi ile kodlarken aynı zamanda self-attention formülasyonuna açık göreli konum bağımlılığını dahil eder. Özellikle RoPE; dizi uzunluğu esnekliği, artan göreli mesafeyle azalan token'lar arası bağımlılık ve lineer self-attention'ı göreli konum kodlamasıyla donatma yeteneği dahil olmak üzere değerli özellikler kazandırır. Son olarak, RoFormer olarak da adlandırılan döner konum gömmeli gelişmiş transformer modelini çeşitli uzun metin sınıflandırma kıyaslama veri kümelerinde değerlendiriyoruz. Deneylerimiz, alternatiflerini tutarlı bir şekilde geride bıraktığını göstermektedir. Ayrıca, bazı deneysel sonuçları açıklamak için teorik bir analiz sunuyoruz. RoFormer halihazırda Huggingface'e entegre edilmiştir: \url{https://huggingface.co/docs/transformers/model_doc/roformer}.

Orijinal özet (İngilizce)

Position encoding recently has shown effective in the transformer architecture. It enables valuable supervision for dependency modeling between elements at different positions of the sequence. In this paper, we first investigate various methods to integrate positional information into the learning process of transformer-based language models. Then, we propose a novel method named Rotary Position Embedding(RoPE) to effectively leverage the positional information. Specifically, the proposed RoPE encodes the absolute position with a rotation matrix and meanwhile incorporates the explicit relative position dependency in self-attention formulation. Notably, RoPE enables valuable properties, including the flexibility of sequence length, decaying inter-token dependency with increasing relative distances, and the capability of equipping the linear self-attention with relative position encoding. Finally, we evaluate the enhanced transformer with rotary position embedding, also called RoFormer, on various long text classification benchmark datasets. Our experiments show that it consistently overcomes its alternatives. Furthermore, we provide a theoretical analysis to explain some experimental results. RoFormer is already integrated into Huggingface: \url{https://huggingface.co/docs/transformers/model_doc/roformer}.

Okuma rehberi

Problem ve motivasyon

Transformer modellerindeki self-attention mekanizması doğası gereği permütasyona duyarsızdır (permutation-invariant) ve açık konum bilgisine ihtiyaç duyar. Önceki yaklaşımlar genel olarak iki gruba ayrılır: doğrudan sözcük temsillerine eklenen mutlak konum gömmeleri (öğrenilmiş veya sabit sinüzoidal vektörler) ve dikkat matrisine entegre edilen göreli konum gömmeleri (örn. Shaw et al., Transformer-XL, T5, DeBERTa). Bununla birlikte, mevcut göreli yöntemler büyük ölçüde ara dikkat logit'lerini değiştiren toplamsal ayrıştırmalara dayanır; bu da onları çarpanlarına ayrılabilir temsiller gerektiren çekirdek tabanlı lineer self-attention mekanizmalarıyla uyumsuz hale getirir. Dahası, modeller değişken dizi uzunlukları boyunca sorunsuz bir şekilde ölçeklenmekte genellikle zorlanır.

Temel fikirler

Vektör Rotasyonu ile Göreli Mesafe: Konum vektörleri eklemek yerine RoPE, afin dönüşümden geçmiş sorgulara (queries) ve anahtarlara (keys) konuma bağlı bir rotasyon matrisi uygular. $m$ indeksindeki döndürülmüş bir sorgu ile $n$ indeksindeki döndürülmüş bir anahtar arasındaki iç çarpım, doğal olarak yalnızca $m - n$ göreli mesafesine bağlı kalır.
Ortogonallik ve Norm Korunumu: Rotasyon operatörü ortogonal olduğundan sorguların ve anahtarların Öklid normunu korur ve gizli durumları (hidden states) stabilize eder.
Uzun Vadeli Sönümleme (Long-term Decay): Sinüzoidal frekans ölçeklendirmesini takip ederek, göreli mesafe arttıkça token etkileşimleri doğal olarak zayıflar; bu da uzak token'ların daha zayıf bağımlılıklara sahip olduğu yönündeki dilbilimsel sezgiyle örtüşür.
Lineer Dikkat ile Uyumluluk: Konum bilgisi nokta çarpımı alınmadan önce doğrudan token vektörlerine uygulandığından, RoPE çekirdek tabanlı lineer dikkat mekanizmalarıyla (Performer gibi) birleştirilebilir.

Yöntem (anahtar denklemlerle)

Amaç, iç çarpımları yalnızca gömmelere ve göreli mesafeye bağlı olan $f_{q} (x_{m}, m)$ ve $f_{k} (x_{n}, n)$ fonksiyonlarını bulmaktır: $⟨ f_{q} (x_{m}, m), f_{k} (x_{n}, n)⟩ = g (x_{m}, x_{n}, m - n)$

2B bir alt uzayda, reel vektörleri karmaşık sayılar olarak ele almak şu çözümü üretir: $f_{q} (x_{m}, m) = (W_{q} x_{m}) e^{im θ}, f_{k} (x_{n}, n) = (W_{k} x_{n}) e^{in θ}$

Çift sayıdaki bir gömme boyutu $d$ için uzay, $Θ = {θ_{i} = 1000 0^{- 2 (i - 1) / d}, i \in [1, \dots, d /2]}$ frekanslarına sahip $d /2$ adet 2B alt uzaya bölünür. Genel dönüşüm, blok-köşegen rotasyon matrisi $R_{Θ, m}^{d}$ 'yi uygular: $f_{{q, k}} (x_{m}, m) = R_{Θ, m}^{d} W_{{q, k}} x_{m}$

$m$ ve $n$ konumları arasındaki nihai dikkat skoru şu eşitliği sağlar: $q_{m}^{⊺} k_{n} = (R_{Θ, m}^{d} W_{q} x_{m})^{⊺} (R_{Θ, n}^{d} W_{k} x_{n}) = x_{m}^{⊺} W_{q} R_{Θ, n - m}^{d} W_{k} x_{n}$

Bunu seyrek matris çarpımı olmadan verimli bir şekilde hesaplamak için RoPE, eleman düzeyinde (element-wise) işlemlerle uygulanır: $R_{Θ, m}^{d} x = x_{1} x_{2} ⋮ x_{d - 1} x_{d} \otimes cos m θ_{1} cos m θ_{1} ⋮ cos m θ_{d /2} cos m θ_{d /2} + - x_{2} x_{1} ⋮ - x_{d} x_{d - 1} \otimes sin m θ_{1} sin m θ_{1} ⋮ sin m θ_{d /2} sin m θ_{d /2}$

Sonuçlar (en önemli sayılarla)

Makine Çevirisi: WMT 2014 İngilizce-Almanca üzerinde RoFormer, 27.5 BLEU değerine ulaşarak Transformer-base baz modelini (27.3 BLEU) geride bırakır.
Ön Eğitim Yakınsaması: BERT-base BookCorpus ve Wikipedia üzerinde RoPE ile eğitildiğinde, RoFormer standart BERT'e göre daha hızlı yakınsar ve daha düşük maskelenmiş dil modelleme (MLM) kaybına ulaşır.
GLUE İnce Ayarı (Fine-Tuning): Önceden eğitilmiş RoFormer; MRPC (88.9'a karşı 89.5 F1), STS-B (85.8'e karşı 87.0 Spearman) ve QQP (71.2'ye karşı 86.4 F1) görevlerinde aşağı akış skorlarını önemli ölçüde artırır; ancak SST-2 (93.5'e karşı 90.7), QNLI (90.5'e karşı 88.0) ve MNLI-m/mm (84.6/83.4'e karşı 80.2/79.8) görevlerinde BERT'ten daha düşük performans gösterir.
Lineer Dikkat (Performer): Enwik8 veri kümesinde, 12 katmanlı karakter tabanlı bir Performer modeline RoPE eklenmesi yakınsamayı önemli ölçüde hızlandırır ve eğitim kaybını düşürür.
Uzun Metin Anlamsal Eşleme: CAIL2019-SCM üzerinde RoFormer-512, %68,29 test doğruluğu elde eder (BERT-512 için %67,77 ve WoBERT-512 için %68,10). RoFormer-1024'e ölçeklendirme ise test doğruluğunu %69,79'a çıkarır (WoBERT-512'ye kıyasla %1,5 mutlak iyileşme).

Sınırlılıklar ve açık sorular

Makale, 2B rotasyonel formülasyonun toplamsal alternatiflere kıyasla ön eğitim sırasında neden daha hızlı yakınsadığına dair teorik bir açıklamanın bulunmadığını belirtmektedir.
Uzun vadeli sönümleme özelliği matematiksel olarak gösterilmiş olsa da, RoFormer'ın uzun dizilerde emsal modellere göre neden belirgin şekilde daha iyi genelleme yaptığı açık bir soru olmaya devam etmektedir.
RoFormer'ı büyük ölçekli ön eğitim süreçlerinde değerlendirmek ciddi miktarda GPU hesaplama gücü gerektirdiğinden, daha geniş ölçekleme özellikleri gelecek çalışmalara bırakılmıştır.

Temel terimler

Rotary Position Embedding (RoPE): Sorgu ve anahtar temsillerini ortogonal blok-köşegen rotasyon matrisleriyle çarparak konum bilgisini enjekte eden bir konum kodlama mekanizması.
RoFormer: Standart mutlak veya toplamsal göreli konum kodlamaları yerine Rotary Position Embedding ile donatılmış bir Transformer mimarisi.
Long-term Decay: Göreli konumsal mesafe $∣ m - n ∣$ büyüdükçe sorgular ve anahtarların iç çarpımının azalmasını ifade eden matematiksel özellik.
Linear Attention: Matris çarpım sırasını değiştirmek ve lineer $O (N)$ hesaplama karmaşıklığı elde etmek için çekirdek öznitelik haritaları (kernel feature maps) hesaplayan dikkat mekanizmaları.
PerFormer: RoPE'nin lineer dikkati göreli konum bilgisiyle sorunsuz bir şekilde donattığını göstermek için makalede test edilen lineer dikkatli bir Transformer mimarisi.
CAIL2019-SCM: 512 token'ın ötesindeki uzun metin modelleme yeteneklerini değerlendirmek için kullanılan yasal dava üçlülerinden oluşan Chinese AI and Law 2019 Benzer Dava Eşleme kıyaslaması.
WoBERT: Çince derlemler üzerinde RoFormer için karşılaştırmalı bir temel model ve ön eğitim temeli olarak kullanılan sözcük tabanlı bir Çince BERT modeli.

Sorular

RoPE'nin standart sinüzoidal konum gömmelerinden farkı nedir?

Sinüzoidal gömmeler lineer projeksiyonlardan önce girdi token vektörlerine eklenirken, RoPE dikkat katmanı içinde doğrudan sorgu ve anahtar projeksiyonlarına çarpımsal bir rotasyon olarak uygulanır.

Diğer göreli kodlamalar uyumlu değilken RoPE neden lineer self-attention ile uyumludur?

Mevcut göreli kodlamalar softmax işlemleri içindeki ikili dikkat logit'lerini değiştirerek lineer dikkat için gereken çarpanlara ayırma işlemini bozar. RoPE ise sorgu ve anahtar vektörlerini normlarını değiştirmeden ayrı ayrı döndürür, böylece lineer dikkat çekirdeklerinin normal şekilde çalışmasına izin verir.

RoPE uygulamak $R^d_{\Theta, m}$ ile yoğun matris çarpımı gerektirir mi?

Hayır. $R_{Θ, m}^{d}$ , $2 \times 2$ bloklardan oluşan seyrek bir blok-köşegen matris olduğundan, hesaplama açısından kosinüs ve sinüs vektörleri kullanılarak eleman düzeyinde çarpma ve ikili yeniden birleştirme yoluyla uygulanır.

RoFormer daha uzun bağlamlara ölçeklendirildiğinde nasıl bir performans sergiler?

CAIL2019-SCM kıyaslamasında, bağlam uzunluğunun 512'den 1024'e çıkarılması RoFormer test doğruluğunu %68,29'dan %69,79'a yükselterek güçlü bir uzunluk genelleştirilebilirliği gösterir.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku