LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu; Yelong Shen; Phillip Wallis; Zeyuan Allen-Zhu; Yuanzhi Li; Shean Wang; Lu Wang; Weizhu Chen

Makaleler · arXiv 2106.09685

LoRA: Büyük Dil Modellerinin Düşük Dereceli Uyarlaması (Low-Rank Adaptation of Large Language Models)

LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen

Yayımlanma 2021-06-17cs.CLcs.AIcs.LG arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 GPT-3 175B gibi devasa dil modellerine tam ince ayar yapmak, alt görev başına milyarlarca parametrenin yeniden eğitilmesini ve depolanmasını gerektirerek ciddi depolama, VRAM ve dağıtım darboğazları yaratır.
🔧 Önceden eğitilmiş ağırlık matrislerini dondurur ve Transformer yoğun katmanlarına eğitilebilir düşük dereceli ayrıştırma matrisleri ( $B A$ ) ekler; çarpımı $\frac{α}{r}$ ile ölçeklendirir ve ek gecikme olmaksızın dağıtım sırasında birleştirmeye olanak tanır.
📈 GPT-3 175B için LoRA, eğitilebilir parametreleri 10.000 kat ve VRAM'i 3 kat (1,2 TB'tan 350 GB'a) azaltırken GLUE, WikiSQL ve SAMSum üzerinde tam ince ayara denk veya daha yüksek başarı gösterir.

Özet

Doğal dil işlemenin önemli bir paradigması, genel alan verileri üzerinde büyük ölçekli önceden eğitim ve ardından belirli görevlere veya alanlara uyarlamadan oluşur. Daha büyük modeller eğittikçe, tüm model parametrelerini yeniden eğiten tam ince ayar (full fine-tuning) uygulanabilirliğini yitirmektedir. GPT-3 175B örneğini ele alırsak; her biri 175B parametreye sahip ince ayarlı modellerin bağımsız kopyalarını devreye almak son derece maliyetlidir. Bu çalışmada, önceden eğitilmiş model ağırlıklarını donduran ve Transformer mimarisinin her katmanına eğitilebilir derece ayrıştırma matrisleri (rank decomposition matrices) ekleyerek alt görevler için eğitilebilir parametre sayısını büyük ölçüde azaltan Düşük Dereceli Uyarlama (Low-Rank Adaptation - LoRA) yöntemini öneriyoruz. Adam ile ince ayar yapılan GPT-3 175B ile karşılaştırıldığında LoRA, eğitilebilir parametre sayısını 10.000 kat, GPU bellek gereksinimini ise 3 kat azaltabilmektedir. LoRA; daha az eğitilebilir parametreye ve daha yüksek eğitim verimliliğine sahip olmasına ve bağdaştırıcıların (adapters) aksine ek çıkarım gecikmesi getirmemesine rağmen RoBERTa, DeBERTa, GPT-2 ve GPT-3 üzerinde model kalitesi bakımından tam ince ayara denk veya daha iyi performans sergiler. Ayrıca, dil modeli uyarlamasındaki derece eksikliğine (rank-deficiency) yönelik ampirik bir inceleme sunarak LoRA'nın etkinliğine ışık tutuyoruz. LoRA'nın PyTorch modelleriyle entegrasyonunu kolaylaştıran bir paket yayınlıyor; RoBERTa, DeBERTa ve GPT-2 için uygulamalarımızı ve model denetim noktalarımızı https://github.com/microsoft/LoRA adresinde paylaşıyoruz.

Orijinal özet (İngilizce)

An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes less feasible. Using GPT-3 175B as an example -- deploying independent instances of fine-tuned models, each with 175B parameters, is prohibitively expensive. We propose Low-Rank Adaptation, or LoRA, which freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks. Compared to GPT-3 175B fine-tuned with Adam, LoRA can reduce the number of trainable parameters by 10,000 times and the GPU memory requirement by 3 times. LoRA performs on-par or better than fine-tuning in model quality on RoBERTa, DeBERTa, GPT-2, and GPT-3, despite having fewer trainable parameters, a higher training throughput, and, unlike adapters, no additional inference latency. We also provide an empirical investigation into rank-deficiency in language model adaptation, which sheds light on the efficacy of LoRA. We release a package that facilitates the integration of LoRA with PyTorch models and provide our implementations and model checkpoints for RoBERTa, DeBERTa, and GPT-2 at https://github.com/microsoft/LoRA.

Okuma rehberi

Problem ve motivasyon

Önceden eğitilmiş büyük ölçekli dil modellerini farklı alt uygulamalara uyarlamak, geleneksel olarak tam ince ayara (tüm $Φ_{0}$ parametrelerinin $Φ_{0} + ΔΦ$ olarak güncellenmesine) dayanır. GPT-3 175B gibi devasa mimariler için 175 milyar parametreli modellerin bağımsız kopyalarını depolamak ve sunmak; depolama, GPU belleği ve G/Ç maliyeti açısından aşırı derecede pahalıdır. Önceki parametre verimli ayarlama teknikleri belirgin dezavantajlara sahiptir:

Seri Bağdaştırıcı Katmanları (Series Adapter Layers): Transformer bloklarına sıralı olarak darboğaz modülleri ekler. Bu ardışık işlemler paralelleştirilemediğinden belirgin bir çıkarım gecikmesi yaratır; tek GPU'lu, küçük yığınlı, çevrim içi sunum senaryolarında ileri geçişleri $%30, 3$ 'e kadar yavaşlatır.
Ön Ek / İstem Ayarlama (Prefix / Prompt Tuning): Katman aktivasyonlarının başına eklenen sürekli istem vektörlerini optimize eder. Bu yöntemlerin optimizasyonu zordur, istem uzunluğuyla monotonik olmayan bir şekilde ölçeklenir ve bağlam için kullanılabilecek dizi uzunluğu bütçesini tüketir.

LoRA, bu verimlilik-kalite ödünleşimini, alt görev transferi sırasında ağırlık uyarlama güncellemelerinin ( $Δ W$ ) düşük bir içsel dereceye (intrinsic rank) sahip olduğu hipotezine dayanarak çözer.

Temel fikirler

Düşük Dereceli Yeniden Parametreleştirme (Low-Rank Reparametrization): Dondurulmuş bir $W_{0} \in R^{d \times k}$ yoğun matrisi için uyarlama güncellemesi $Δ W = B A$ olarak parametrelendirilir; burada $B \in R^{d \times r}$ , $A \in R^{r \times k}$ ve derece $r ≪ min (d, k)$ şeklindedir.
Sıfır Ek Çıkarım Gecikmesi: Yeniden parametrelendirme doğrusal olduğundan, eğitilen düşük dereceli matrisler dağıtım aşamasında doğrudan önceden eğitilmiş ağırlıklarla birleştirilebilir ( $W = W_{0} + B A$ ). Bu da tam ince ayara kıyasla özdeş bir çıkarım mimarisi ve sıfır gecikme maliyeti sağlar.
Çalışırken Değiştirilebilir (Hot-Swapping) Paylaşımlı Taban Modeli: Büyük dondurulmuş model GPU belleğinde statik kalır; görevleri değiştirmek yalnızca düşük dereceli $A$ ve $B$ matrislerinin takas edilmesini gerektirir ve depolamayı yüzlerce gigabayttan onlarca megabayta indirir.
Seçici Dikkat Uyarlaması (Selective Attention Adaptation): Derece ayrıştırmasını yalnızca öz-dikkat izdüşümlerine (özellikle sorgu $W_{q}$ ve değer $W_{v}$ ) uygulamak, ileri beslemeli MLP katmanlarını dondurulmuş bırakarak rekabetçi bir performans elde edilmesini sağlar.

Yöntem

$h = W_{0} x$ üreten yoğun bir izdüşüm katmanı için LoRA, hesaplamayı şu şekilde değiştirir: $h = W_{0} x + Δ W x = W_{0} x + \frac{α}{r} B A x$

Temel uygulama ayrıntıları:

Başlatma (Initialization): $A$ matrisi rastgele bir Gauss dağılımından $N (0, σ^{2})$ başlatılır ve $B$ sıfır olarak başlatılır; böylece eğitimin başında $Δ W = 0$ olması sağlanır.
Ölçekleme Faktörü: Güncelleme $Δ W x$ , sabit bir hiperparametre olan $α$ kullanılarak $\frac{α}{r}$ ile ölçeklenir. Adam ile optimize edilirken $α$ 'nın başlangıçtaki $r$ derecesine eşit ayarlanması, farklı $r$ değerleri denenirken öğrenme oranlarının yeniden ayarlanması ihtiyacını ortadan kaldırır.
Dağıtımda Birleştirme (Deployment Merging): Üretim ortamında, uyarlanan ağırlık matrisi $W \in R^{d \times k}$ açıkça $W = W_{0} + B A$ olarak somutlaştırılır. Görevler değiştirilirken, $W_{0}$ çıkarma işlemiyle geri yüklenir ( $W_{0} = W - B A$ ) ve yeni bağdaştırıcı ağırlıklarıyla birleştirilir ( $W^{'} = W_{0} + B^{'} A^{'}$ ).
Hedef Katmanlar: Herhangi bir yoğun katmana uygulanabilir olsa da deneyler temel olarak Transformer dikkat izdüşümlerine ( $W_{q}, W_{k}, W_{v}, W_{o}$ ) odaklanır. $W_{q}$ ve $W_{v}$ katmanlarına $r = 4$ ile LoRA uygulamak en iyi alt görev verimliliğini sağlar.

Sonuçlar

GPT-3 175B: LoRA, eğitilebilir parametreleri 175.255,8M'den 4,7M'ye ( $r = 1$ veya $r_{v} = 2$ ) ya da 37,7M'ye ( $r = 8$ ) düşürerek denetim noktası boyutunu 350 GB'tan 35 MB'a (10.000 kat azalma) ve eğitim VRAM'ini 1,2 TB'tan 350 GB'a indirir. Eğitim işleme kapasitesi (throughput) $%25$ artar (V100 GPU başına 32,5'ten 43,1 token/sn'ye).
Alt Görev Doğruluğu (GPT-3):
- WikiSQL mantıksal form doğrulama doğruluğu: Tam ince ayar $%73, 8$ ; LoRA (37,7M) $%74, 0$ elde eder.
- MultiNLI eşleşen doğrulama doğruluğu: Tam ince ayar $%89, 5$ ; LoRA (4,7M) $%91, 7$ elde eder.
- SAMSum diyalog özetleme: Tam ince ayar 52,0 / 28,0 / 44,5 ROUGE-1/2/L; LoRA (4,7M) ise 53,8 / 29,8 / 45,9 skorlarına ulaşır.
RoBERTa ve DeBERTa (GLUE Kıyaslaması): RoBERTa Large üzerinde LoRA, 355,0M yerine yalnızca 0,8M parametre kullanarak tam ince ayara denk bir performans sergiler ( $88, 9$ 'a karşı $89, 0$ ortalama skor). DeBERTa XXL (1,5B) üzerinde LoRA, 4,7M parametre ile GLUE'da $91, 3$ ortalama skor alırken tam ince ayar (1.500,0M parametre) $91, 1$ skor elde eder.
İçsel Derece Analizi: Alt uzay benzerlik analizi, $r = 8$ ve $r = 64$ için $Δ W$ 'nin en üst tekil yönlerinin büyük ölçüde örtüştüğünü gösterir (1. boyut için $> 0, 5$ normalize edilmiş benzerlik). Ayrıca $Δ W$ , $W$ içinde var olan ancak güçlü biçimde vurgulanmayan yönleri güçlendirerek $r = 4$ için $\frac{∥Δ W ∥ _{F}}{∥ U ^{⊤} W V ^{⊤} ∥ _{F}} \approx 21, 5$ amplifikasyon faktörü sergiler.

Kısıtlamalar ve açık sorular

Çok Görevli Yığınlama (Multi-Task Batching): Çıkarım gecikmesini ortadan kaldırmak için düşük dereceli $B A$ ağırlıkları $W_{0}$ ile birleştirildiğinde, tek bir ileri geçişte birden çok görev için girdileri aynı anda yığınlamak (batching) kolay değildir.
Sezgisel Katman Seçimi: Mevcut uygulama, dikkat ve MLP katmanları genelinde hangi matrislerin uyarlanacağını belirlemek için ilkesel bir çerçeve yerine ampirik sezgisellere ( $W_{q}$ ve $W_{v}$ uyarlaması gibi) dayanmaktadır.
Uç Alan Kaymaları (Extreme Domain Shifts): Ön eğitim dağılımından büyük ölçüde farklılaşan alt görevler için (örneğin İngilizce bir LLM'in tamamen farklı bir hedef dile uyarlanması), düşük dereceli uyarlama, daha yüksek dereceli veya tam uyarlamaya kıyasla yetersiz kalabilir.

Temel terimler

Low-Rank Adaptation (LoRA): Temel model ağırlıklarını donduran ve yoğun katmanlara paralel olarak düşük dereceli ayrıştırma matrislerini eğiten parametre açısından verimli bir ince ayar yöntemi.
Intrinsic Rank: Göreve özel transfer sırasında anlamlı parametre uyarlamasını yakalamak için gereken düşük efektif boyut veya tekil vektör sayısı.
Adapter Layers: Transformer bloklarına sıralı olarak eklenen, paralelleştirilemeyen ardışık hesaplamalara ve çıkarım gecikmesine neden olan harici darboğaz modülleri.
Prefix Tuning: Girdi token'larının veya katman gizli durumlarının başına eğitilebilir sürekli vektörler ekleyen ve kullanılabilir dizi bağlamını azaltan bir uyarlama stratejisi.
Weight Folding / Weight Merging: Çıkarım sırasında çalışma zamanı ek yükünü ortadan kaldırmak amacıyla düşük dereceli $B A$ matrislerinin doğrudan önceden eğitilmiş $W_{0}$ ağırlık matrisine aritmetik olarak eklenmesi.
Grassmann Distance Subspace Similarity: Uyarlama güncellemelerinin ortonormal tekil vektör matrisleri arasındaki sütun uzayı örtüşmesini ölçen bir metrik: $ϕ (A, B, i, j)$ .
Feature Amplification Factor: $Δ W$ 'nin Frobenius normu ile $W$ 'nin $Δ W$ 'nin tekil alt uzayına izdüşümü arasındaki oran; göreve özel yönlerin ne kadar güçlü vurgulandığını ölçer.

Sorular

LoRA, bağdaştırıcılara (adapters) kıyasla neden sıfır ek çıkarım gecikmesi getirir?

LoRA doğrusal bir işlem olduğundan ( $h = W_{0} x + B A x$ ), düşük dereceli çarpım $B A$ sunumdan önce doğrudan hesaplanıp $W_{0}$ ağırlığına eklenebilir ( $W = W_{0} + B A$ ). Böylece çıkarım işlemi, bağdaştırıcı mimarilerinde gecikmeye yol açan ardışık darboğaz katmanları olmadan, standart matris çarpımı olarak çalışır.

LoRA hangi Transformer ağırlık matrislerine uygulanmalıdır?

GPT-3 üzerindeki deneyler, sabit bir parametre bütçesi verildiğinde hem sorgu ( $W_{q}$ ) hem de değer ( $W_{v}$ ) izdüşüm ağırlıklarını uyarlamanın en iyi performansı sağladığını göstermektedir. Birden fazla dikkat matrisini daha küçük bir dereceyle (ör. $r = 4$ ) uyarlamak, tüm parametreleri daha yüksek dereceli tek bir matris türüne tahsis etmekten daha iyi sonuç verir.

Büyük dil modellerini uyarlamak için hangi $r$ derecesi yeterlidir?

Alt görevler için genellikle $r = 1$ , $2$ veya $4$ gibi çok küçük bir derece yeterlidir. Alt uzay benzerlik analizi, küçük derecelerle öğrenilen en üst tekil vektörlerin, daha yüksek derecelerle (örneğin $r = 64$ ) öğrenilenlerle belirgin biçimde örtüştüğünü; yüksek derecelerin ise çoğunlukla rastgele optimizasyon gürültüsünü yakaladığını ortaya koymaktadır.

LoRA düşük dereceli matrislerini nasıl başlatır?

$A$ matrisi rastgele bir Gauss dağılımı ile başlatılırken, $B$ matrisi sıfır olarak başlatılır. Bu durum eğitimin başında $Δ W = B A = 0$ olmasını sağlar ve modelin önceden eğitilmiş ileri geçiş çıktısını değiştirmeden korur.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku