LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu; Yelong Shen; Phillip Wallis; Zeyuan Allen-Zhu; Yuanzhi Li; Shean Wang; Lu Wang; Weizhu Chen

Articles · arXiv 2106.09685

LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen

Publié le 2021-06-17cs.CLcs.AIcs.LG arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Le fine-tuning complet de modèles de langue massifs comme GPT-3 175B exige de réentraîner et de stocker des milliards de paramètres par tâche aval, créant des goulots d'étranglement majeurs de stockage, de VRAM et de déploiement.
🔧 Gèle les matrices de poids pré-entraînées et injecte des matrices entraînables de décomposition de bas rang ( $B A$ ) dans les couches denses du Transformer, mettant le produit à l'échelle par $\frac{α}{r}$ et permettant la fusion au déploiement sans latence ajoutée.
📈 Pour GPT-3 175B, LoRA divise par 10 000 les paramètres entraînables et par 3 la VRAM (de 1,2 To à 350 Go) tout en égalant ou surpassant le fine-tuning complet sur GLUE, WikiSQL et SAMSum.

Résumé

Un paradigme majeur du traitement automatique du langage naturel repose sur un pré-entraînement à grande échelle sur des données généralistes, suivi d'une adaptation à des tâches ou domaines spécifiques. À mesure que les modèles pré-entraînés grandissent, le fine-tuning complet, qui réentraîne l'ensemble des paramètres du modèle, devient difficilement envisageable. Si l'on prend l'exemple de GPT-3 175B, déployer des instances indépendantes de modèles affinés, chacune dotée de 175 milliards de paramètres, engendre un coût prohibitif. Nous proposons la méthode Low-Rank Adaptation, ou LoRA, qui gèle les poids du modèle pré-entraîné et injecte des matrices entraînables de décomposition de rang au sein de chaque couche de l'architecture Transformer, réduisant considérablement le nombre de paramètres à entraîner pour les tâches en aval. Comparé à GPT-3 175B affiné avec Adam, LoRA permet de diviser le nombre de paramètres entraînables par 10 000 et les besoins en mémoire GPU par 3. Les performances de LoRA égalent ou surpassent celles du fine-tuning en matière de qualité de modèle sur RoBERTa, DeBERTa, GPT-2 et GPT-3, tout en ayant moins de paramètres entraînables, un débit d'entraînement supérieur et, contrairement aux adaptateurs, aucune latence d'inférence additionnelle. Nous présentons également une étude empirique sur le déficit de rang lors de l'adaptation des modèles de langue, mettant en lumière l'efficacité de LoRA. Nous publions une bibliothèque facilitant l'intégration de LoRA aux modèles PyTorch et mettons à disposition nos implémentations ainsi que les points de contrôle (checkpoints) pour RoBERTa, DeBERTa et GPT-2 à l'adresse https://github.com/microsoft/LoRA.

Résumé original (anglais)

An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes less feasible. Using GPT-3 175B as an example -- deploying independent instances of fine-tuned models, each with 175B parameters, is prohibitively expensive. We propose Low-Rank Adaptation, or LoRA, which freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks. Compared to GPT-3 175B fine-tuned with Adam, LoRA can reduce the number of trainable parameters by 10,000 times and the GPU memory requirement by 3 times. LoRA performs on-par or better than fine-tuning in model quality on RoBERTa, DeBERTa, GPT-2, and GPT-3, despite having fewer trainable parameters, a higher training throughput, and, unlike adapters, no additional inference latency. We also provide an empirical investigation into rank-deficiency in language model adaptation, which sheds light on the efficacy of LoRA. We release a package that facilitates the integration of LoRA with PyTorch models and provide our implementations and model checkpoints for RoBERTa, DeBERTa, and GPT-2 at https://github.com/microsoft/LoRA.

Guide de lecture

Problème et motivation

Adapter des modèles de langue pré-entraînés de grande taille à diverses applications en aval repose traditionnellement sur le fine-tuning complet (mise à jour de tous les paramètres $Φ_{0}$ vers $Φ_{0} + ΔΦ$ ). Pour des architectures massives telles que GPT-3 175B, stocker et servir des copies indépendantes de modèles de 175 milliards de paramètres s'avère prohibitif en termes de stockage, de mémoire GPU et de surcoût d'E/S. Les techniques antérieures d'adaptation efficace des paramètres présentent des limites notables :

Couches d'adaptation en série (Series Adapter Layers) : Elles insèrent des modules de goulot d'étranglement de manière séquentielle dans les blocs Transformer. Ces opérations séquentielles ne pouvant pas être parallélisées, elles introduisent une latence d'inférence significative — ralentissant les passes avant jusqu'à $30, 3%$ dans des régimes de service en ligne sur un seul GPU avec de petits lots (batches).
Prefix / Prompt Tuning : Optimise des vecteurs de prompt continus préfixés aux activations des couches. Ces méthodes sont difficiles à optimiser, évoluent de manière non monotone avec la longueur du prompt et consomment une partie de la longueur de séquence allouée au contexte.

LoRA répond à ce compromis entre efficacité et qualité en partant de l'hypothèse que les mises à jour d'adaptation des poids $Δ W$ possèdent un rang intrinsèque faible lors du transfert vers des tâches aval.

Idées clés

Reparamétrisation de bas rang : Pour une matrice dense gelée $W_{0} \in R^{d \times k}$ , la mise à jour d'adaptation est paramétrée sous la forme $Δ W = B A$ , où $B \in R^{d \times r}$ , $A \in R^{r \times k}$ , et le rang $r ≪ min (d, k)$ .
Aucune latence d'inférence supplémentaire : La reparamétrisation étant linéaire, les matrices de bas rang entraînées peuvent être directement intégrées aux poids pré-entraînés ( $W = W_{0} + B A$ ) au moment du déploiement, conservant ainsi l'architecture d'inférence initiale et évitant toute pénalité de latence par rapport à un fine-tuning complet.
Modèle de base partagé avec permutation à chaud (Hot-Swapping) : Le grand modèle gelé reste statique en mémoire GPU ; changer de tâche nécessite uniquement d'échanger les matrices de bas rang $A$ et $B$ , réduisant drastiquement l'espace de stockage de plusieurs centaines de gigaoctets à quelques dizaines de mégaoctets.
Adaptation sélective de l'attention : L'application de la décomposition de rang exclusivement aux projections de l'auto-attention (notamment la requête $W_{q}$ et la valeur $W_{v}$ ) permet d'obtenir des performances compétitives tout en maintenant les couches MLP feed-forward gelées.

Méthode

Pour une couche de projection dense produisant $h = W_{0} x$ , LoRA modifie le calcul selon la formule suivante : $h = W_{0} x + Δ W x = W_{0} x + \frac{α}{r} B A x$

Détails clés de l'implémentation :

Initialisation : $A$ est initialisée selon une distribution gaussienne aléatoire $N (0, σ^{2})$ et $B$ est initialisée à zéro, garantissant que $Δ W = 0$ au début de l'entraînement.
Facteur d'échelle : La mise à jour $Δ W x$ est mise à l'échelle par $\frac{α}{r}$ , où $α$ est un hyperparamètre constant. Lors de l'optimisation avec Adam, fixer $α$ à la valeur du rang initial $r$ évite d'avoir à réajuster le taux d'apprentissage lors de l'expérimentation de différentes valeurs de $r$ .
Fusion au déploiement : En production, la matrice de poids adaptée $W \in R^{d \times k}$ est explicitement matérialisée par $W = W_{0} + B A$ . Lors d'un changement de tâche, $W_{0}$ est restaurée par soustraction ( $W_{0} = W - B A$ ) puis fusionnée avec les nouveaux poids d'adaptateur ( $W^{'} = W_{0} + B^{'} A^{'}$ ).
Couches ciblées : Bien qu'elle soit applicable à n'importe quelle couche dense, les expériences se concentrent principalement sur les projections d'attention du Transformer ( $W_{q}, W_{k}, W_{v}, W_{o}$ ). Appliquer LoRA avec $r = 4$ sur $W_{q}$ et $W_{v}$ offre une efficacité optimale en aval.

Résultats

GPT-3 175B : LoRA réduit les paramètres entraînables de 175 255,8 M à 4,7 M ( $r = 1$ ou $r_{v} = 2$ ) ou 37,7 M ( $r = 8$ ), faisant passer la taille des checkpoints de 350 Go à 35 Mo (soit une réduction d'un facteur 10 000) et la VRAM nécessaire à l'entraînement de 1,2 To à 350 Go. Le débit d'entraînement augmente de $25%$ (passant de 32,5 à 43,1 tokens/s par GPU V100).
Précision sur les tâches aval (GPT-3) :
- Précision de validation sur la forme logique de WikiSQL : le fine-tuning complet atteint $73, 8%$ ; LoRA (37,7 M) atteint $74, 0%$ .
- Précision de validation matched sur MultiNLI : le fine-tuning complet atteint $89, 5%$ ; LoRA (4,7 M) atteint $91, 7%$ .
- Résumé de dialogues sur SAMSum : le fine-tuning complet obtient 52,0 / 28,0 / 44,5 en ROUGE-1/2/L ; LoRA (4,7 M) atteint 53,8 / 29,8 / 45,9.
RoBERTa et DeBERTa (Benchmark GLUE) : Sur RoBERTa Large, LoRA égale le fine-tuning (score moyen de $88, 9$ contre $89, 0$ ) avec seulement 0,8 M de paramètres contre 355,0 M. Sur DeBERTa XXL (1,5B), LoRA obtient un score moyen de $91, 3$ sur GLUE avec 4,7 M de paramètres, contre $91, 1$ pour le fine-tuning complet (1 500,0 M de paramètres).
Analyse du rang intrinsèque : L'analyse de similarité de sous-espaces révèle que les directions singulières principales de $Δ W$ pour $r = 8$ et $r = 64$ se chevauchent fortement (similarité normalisée $> 0, 5$ pour la première dimension). De plus, $Δ W$ amplifie les directions présentes mais peu accentuées dans $W$ , avec un facteur d'amplification $\frac{∥Δ W ∥ _{F}}{∥ U ^{⊤} W V ^{⊤} ∥ _{F}} \approx 21, 5$ pour $r = 4$ .

Limites et questions ouvertes

Traitement par lots multi-tâches (Multi-Task Batching) : Lorsque les poids de bas rang $B A$ sont fusionnés dans $W_{0}$ pour éliminer la latence d'inférence, regrouper simultanément des entrées destinées à plusieurs tâches différentes au sein d'une même passe avant n'est pas immédiat.
Sélection heuristique des couches : La pratique actuelle repose sur des heuristiques empiriques (adaptation de $W_{q}$ et $W_{v}$ ) plutôt que sur un cadre théorique rigoureux pour déterminer quelles matrices adapter entre les couches d'attention et de MLP.
Décalages de domaine extrêmes : Pour les tâches aval qui s'écartent considérablement de la distribution de pré-entraînement (comme l'adaptation d'un LLM anglophone vers une langue cible totalement distincte), l'adaptation de bas rang pourrait se révéler insuffisante par rapport à une adaptation de rang supérieur ou complète.

Termes clés

Low-Rank Adaptation (LoRA): Une méthode de fine-tuning efficace en paramètres qui gèle les poids du modèle de base et entraîne des matrices de décomposition de bas rang en parallèle des couches denses.
Intrinsic Rank: La faible dimensionnalité effective, ou le nombre réduit de vecteurs singuliers, nécessaire pour capturer une adaptation pertinente des paramètres lors du transfert vers une tâche spécifique.
Adapter Layers: Des modules de goulot d'étranglement externes insérés séquentiellement dans les blocs Transformer, qui introduisent des calculs séquentiels non parallélisables et de la latence à l'inférence.
Prefix Tuning: Une stratégie d'adaptation qui préfixe des vecteurs continus entraînables aux tokens d'entrée ou aux états cachés des couches, réduisant la longueur de contexte disponible pour la séquence.
Weight Folding / Weight Merging: L'addition arithmétique directe des matrices de bas rang $B A$ dans la matrice de poids pré-entraînée $W_{0}$ afin d'éliminer tout surcoût d'exécution pendant l'inférence.
Grassmann Distance Subspace Similarity: Une métrique $ϕ (A, B, i, j)$ mesurant le chevauchement des espaces colonnes entre les matrices de vecteurs singuliers orthonormés issues des mises à jour d'adaptation.
Feature Amplification Factor: Le rapport entre la norme de Frobenius de $Δ W$ et la projection de $W$ sur le sous-espace singulier de $Δ W$ , mesurant l'intensité avec laquelle les directions spécifiques à la tâche sont accentuées.

Questions

Pourquoi LoRA n'introduit-elle aucune latence d'inférence supplémentaire par rapport aux adaptateurs ?

LoRA étant linéaire ( $h = W_{0} x + B A x$ ), le produit de bas rang $B A$ peut être explicitement calculé et additionné à $W_{0}$ avant le déploiement ( $W = W_{0} + B A$ ). L'inférence exécute ensuite une multiplication matricielle standard sans les couches séquentielles de goulot d'étranglement qui ralentissent les architectures à base d'adaptateurs.

À quelles matrices de poids du Transformer LoRA doit-elle être appliquée ?

Les expériences sur GPT-3 montrent que l'adaptation conjointe des poids de projection de requête ( $W_{q}$ ) et de valeur ( $W_{v}$ ) offre les meilleures performances pour un budget de paramètres donné. Adapter plusieurs matrices d'attention avec un rang plus faible (par exemple $r = 4$ ) est plus efficace que d'allouer l'ensemble des paramètres à un seul type de matrice avec un rang plus élevé.

Quel rang $r$ est suffisant pour adapter les grands modèles de langue ?

Un très faible rang tel que $r = 1$ , $2$ ou $4$ suffit souvent pour les tâches en aval. L'analyse de similarité de sous-espaces montre que les premiers vecteurs singuliers appris avec de petits rangs recoupent largement ceux appris avec des rangs plus élevés (comme $r = 64$ ), ces derniers capturant principalement du bruit d'optimisation aléatoire.

Comment LoRA initialise-t-elle ses matrices de bas rang ?

La matrice $A$ est initialisée selon une distribution gaussienne aléatoire, tandis que la matrice $B$ est initialisée à zéro. Cela garantit que $Δ W = B A = 0$ au début de l'entraînement, laissant la passe avant pré-entraînée du modèle parfaitement inchangée.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA