Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Articles · arXiv 2203.02155

Entraîner des modèles de langage à suivre des instructions grâce aux retours humains

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Publié le 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

Les grands modèles de langage entraînés uniquement sur la prédiction du token suivant peinent souvent à suivre l'intention de l'utilisateur, générant des réponses toxiques, erronées ou inutiles.
Affinage de GPT-3 via des démonstrations humaines supervisées, entraînement d'un reward model de 6B sur des sorties classées, et optimisation de la politique via PPO avec un mélange de préentraînement.
Les sorties d'InstructGPT 1.3B sont préférées à celles de GPT-3 175B, tandis qu'InstructGPT 175B surpasse GPT-3 175B dans 85 % des cas et réduit les hallucinations de 41 % à 21 %.

Résumé

Augmenter la taille des modèles de langage ne les rend pas intrinsèquement meilleurs pour suivre l'intention d'un utilisateur. Par exemple, les grands modèles de langage peuvent générer des réponses inexactes, toxiques ou tout simplement inutiles. En d'autres termes, ces modèles ne sont pas alignés avec leurs utilisateurs. Dans cet article, nous présentons une approche pour aligner les modèles de langage avec l'intention de l'utilisateur sur un large éventail de tâches grâce au fine-tuning avec retour humain. À partir d'un ensemble de prompts rédigés par des annotateurs et de requêtes soumises via l'API OpenAI, nous collectons un jeu de données de démonstrations illustrant le comportement souhaité, utilisé pour affiner GPT-3 par apprentissage supervisé. Nous recueillons ensuite un ensemble de classements des réponses générées par le modèle, permettant d'affiner davantage ce modèle supervisé par apprentissage par renforcement à partir de retours humains. Nous nommons les modèles résultants InstructGPT. Lors d'évaluations humaines sur notre distribution de prompts, les sorties du modèle InstructGPT à 1,3 milliard de paramètres sont préférées à celles de GPT-3 à 175 milliards, malgré 100 fois moins de paramètres. De plus, les modèles InstructGPT affichent une meilleure véracité et une réduction de la toxicité, avec des régressions minimes sur les benchmarks publics de NLP. Même si InstructGPT commet encore des erreurs simples, nos résultats montrent que le fine-tuning avec retour humain est une direction prometteuse pour aligner les modèles de langage avec l'intention humaine.

Résumé original (anglais)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Guide de lecture

Problème et motivation

Les grands modèles de langage (LLM) standards optimisent la prédiction du prochain token sur des corpus web. Cet objectif de préentraînement n'est pas aligné avec l'objectif de l'utilisateur d'obtenir un assistant suivant des instructions de manière utile, véridique et inoffensive. Par conséquent, les modèles de base comme GPT-3 hallucinent fréquemment des faits, inventent un faux contexte, reproduisent des textes toxiques ou ignorent les contraintes explicites de l'utilisateur. Augmenter uniquement le nombre de paramètres ne suffit pas à éliminer ces problèmes.

Idées clés

Alignement par Reinforcement Learning from Human Feedback (RLHF) : Utiliser les évaluations humaines pour orienter les sorties du modèle vers les intentions de l'utilisateur plutôt que vers la simple probabilité de continuation.
Pipeline d'entraînement en trois étapes : (1) Supervised fine-tuning (SFT) sur des paires prompt-démonstration, (2) Entraînement du Reward Model (RM) sur des comparaisons par paires issues de réponses classées, et (3) Optimisation de la politique à l'aide de Proximal Policy Optimization (PPO).
Atténuation de l'Alignment Tax : Le fine-tuning PPO standard entraîne une dégradation des performances sur les benchmarks NLP classiques (ex. SQuADv2, DROP). L'intégration de gradients issus de la distribution de préentraînement dans les mises à jour PPO (PPO-ptx) atténue ces pertes de capacités sans compromettre les gains de préférence humaine.

Méthode (avec les équations clés)

Supervised Fine-Tuning (SFT) : Affiner les modèles GPT-3 de base sur environ 13 000 démonstrations de prompts rédigées par des annotateurs et soumises via l'OpenAI API Playground.
Entraînement du Reward Model : Pour chaque prompt $x$ , les annotateurs classent $K$ générations ( $K \in [4, 9]$ ), produisant $(2 K)$ comparaisons. Le reward model à 6B de paramètres $r_{θ} (x, y)$ est entraîné avec une perte d'entropie croisée par paire sur l'ensemble des paires d'un élément de batch : $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ où $y_{w}$ est la génération préférée à $y_{l}$ .
Optimisation de la politique RL (PPO-ptx) : Optimiser la politique $π_{ϕ}^{RL}$ en fonction des récompenses scalaires tout en pénalisant l'écart par rapport au modèle SFT via la divergence KL au niveau des tokens, et facultativement en conservant la log-vraisemblance de préentraînement : $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Ici, $β$ est le coefficient de pénalité KL et $γ$ régit le mélange des gradients de préentraînement.

Résultats (avec les chiffres les plus importants)

Préférences humaines : Les annotateurs préfèrent les sorties du modèle InstructGPT 1.3B à celles du modèle de base GPT-3 175B (une différence d'un facteur 100 en paramètres). Les sorties d'InstructGPT 175B sont préférées à celles de GPT-3 175B dans $85 \pm 3%$ des cas, et à $71 \pm 4%$ par rapport à GPT-3 175B avec prompting few-shot.
Véracité et hallucinations : Sur TruthfulQA, InstructGPT génère des réponses véridiques et informatives environ deux fois plus souvent que GPT-3. Sur les tâches en domaine clos de l'API, le taux d'hallucination passe de 41 % (GPT-3) à 21 % (InstructGPT).
Toxicité : InstructGPT produit environ 25 % de réponses toxiques en moins par rapport à GPT-3 sur RealToxicityPrompts lorsqu'on lui demande d'être respectueux.
Généralisation : InstructGPT se généralise de manière robuste à de nouveaux annotateurs testés ( $77.3%$ de concordance) et à des instructions hors distribution telles que la génération de code, le résumé ou les instructions dans d'autres langues, bien que l'anglais représente plus de 96 % des données d'entraînement.

Limites et questions ouvertes

Compromis de sécurité et d'alignement : InstructGPT privilégie avant tout le respect des instructions de l'utilisateur pendant l'entraînement ; s'il est invité à être malveillant ou biaisé, il suit l'instruction efficacement.
Erreurs simples : Le modèle produit toujours des hallucinations, peut adopter des précautions excessives en raison de son conditionnement à l'humilité épistémique, et peine face à de fausses prémisses ou à des contraintes multiples complexes.
Représentativité : L'ajustement repose sur les retours d'une quarantaine de prestataires sous contrat et sur les requêtes d'utilisateurs de l'API Playground, ce qui ne reflète pas l'ensemble des utilisateurs finaux.

Termes clés

RLHF: Reinforcement Learning from Human Feedback ; méthode consistant à entraîner un reward model à partir des préférences humaines, puis à optimiser une politique par apprentissage par renforcement.
InstructGPT: Famille de modèles GPT-3 affinés à l'aide de démonstrations supervisées et de RLHF pour suivre des instructions en langage naturel.
Alignment tax: Baisse de performance observée sur les benchmarks NLP standards (tels que DROP ou SQuAD) lors de l'alignement d'un modèle de langage avec les préférences humaines.
PPO-ptx: Variante de PPO intégrant des gradients issus des données de préentraînement dans l'objectif d'optimisation RL afin de préserver les capacités sur les benchmarks.
Reward Model (RM): Modèle entraîné à attribuer un score scalaire à une paire prompt-complétion, prédisant la préférence humaine par rapport à d'autres alternatives.
Supervised fine-tuning (SFT): Première étape du pipeline d'alignement dans laquelle un modèle de langage de base est affiné sur des paires prompt-démonstration rédigées par des humains.
Hallucination: Génération par un modèle de langage d'informations infondées ou inventées sur des tâches en domaine clos telles que le résumé ou les questions-réponses.

Questions

Pourquoi un InstructGPT de 1,3B surpasse-t-il GPT-3 175B dans les évaluations humaines ?

Le modèle de base GPT-3 vise à prédire le token suivant sur du texte web non filtré, ignorant souvent les instructions ou répétant le contexte. InstructGPT est explicitement optimisé sur des signaux de préférence humaine pour fournir des réponses utiles et directes, comblant le fossé entre le nombre brut de paramètres et l'intention de la tâche.

Comment l'article résout-il le problème de l'alignment tax ?

En incorporant un terme de mise à jour issu du préentraînement dans l'objectif d'entraînement PPO (PPO-ptx), en multipliant les gradients de préentraînement par un coefficient $γ = 27.8$ . Cela évite les régressions sur les jeux de données publics comme SQuAD et DROP sans réduire les gains en préférences humaines.

Comment le reward model a-t-il été entraîné sur les sorties classées ?

Les annotateurs ont classé $K$ complétions ( $K$ compris entre 4 et 9) par prompt. Le reward model à 6B a été entraîné simultanément sur l'ensemble des $(2 K)$ paires au sein d'un même élément de batch, ce qui réduit le nombre de passes avant et prévient le surapprentissage.

InstructGPT réduit-il les biais démographiques ?

Non. Évalué sur Winogender et CrowS-Pairs, InstructGPT n'a pas montré de réduction significative des biais par rapport au modèle GPT-3 de base, et l'incitation à la politesse a parfois diminué l'entropie (augmentant le biais mesuré).

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA