Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Artigos · arXiv 2203.02155

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Publicado em 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Ler com tradução e IA

Resumo em três linhas

Grandes modelos de linguagem treinados puramente na previsão do próximo token frequentemente falham em seguir a intenção do usuário, gerando respostas tóxicas, inverídicas ou inúteis.
Ajusta o GPT-3 com demonstrações humanas supervisionadas, treina um reward model de 6B com saídas ranqueadas e otimiza a política via PPO com uma mistura de pré-treinamento.
As respostas do InstructGPT de 1.3B são preferidas às do GPT-3 de 175B, enquanto o InstructGPT de 175B supera o GPT-3 de 175B em 85% das vezes e reduz alucinações de 41% para 21%.

Resumo

Tornar os modelos de linguagem maiores não os torna inerentemente melhores em seguir a intenção do usuário. Por exemplo, grandes modelos de linguagem podem gerar saídas que não são verdadeiras, são tóxicas ou simplesmente inúteis para o usuário. Em outras palavras, esses modelos não estão alinhados com seus usuários. Neste artigo, apresentamos um caminho para alinhar modelos de linguagem com a intenção do usuário em uma ampla variedade de tarefas por meio do ajuste fino com feedback humano (fine-tuning with human feedback). A partir de um conjunto de prompts escritos por anotadores e prompts enviados pela API da OpenAI, coletamos um conjunto de dados de demonstrações dos anotadores sobre o comportamento desejado do modelo, o qual usamos para ajustar o GPT-3 via aprendizado supervisionado. Em seguida, coletamos um conjunto de dados de classificações de saídas do modelo, utilizado para ajustar ainda mais esse modelo supervisionado por meio de aprendizado por reforço com feedback humano (RLHF). Chamamos os modelos resultantes de InstructGPT. Em avaliações humanas em nossa distribuição de prompts, as saídas do modelo InstructGPT de 1,3B parâmetros são preferidas às saídas do GPT-3 de 175B, apesar de ter 100 vezes menos parâmetros. Além disso, os modelos InstructGPT apresentam melhorias em veracidade e reduções na geração de saídas tóxicas, com regressões mínimas de desempenho em conjuntos de dados públicos de NLP. Embora o InstructGPT ainda cometa erros simples, nossos resultados mostram que o ajuste fino com feedback humano é uma direção promissora para alinhar modelos de linguagem com a intenção humana.

Resumo original (inglês)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Guia de leitura

Problema e motivação

Modelos de linguagem grandes (LLMs) convencionais otimizam a previsão do próximo token em corpora da web. Esse objetivo de pré-treinamento é desalinhado com a meta do usuário de ter um assistente que siga instruções de forma prestativa, verdadeira e inofensiva. Como consequência, modelos base como o GPT-3 frequentemente alucinam fatos, inventam contexto falso, reproduzem textos tóxicos ou ignoram restrições explícitas do usuário. Apenas aumentar a escala dos parâmetros do modelo não elimina esses problemas.

Ideias centrais

Alinhamento via Reinforcement Learning from Human Feedback (RLHF): Utiliza avaliações humanas para moldar as saídas do modelo na direção das intenções do usuário, em vez da probabilidade bruta de continuação de texto.
Pipeline de treinamento em três etapas: (1) Fine-tuning supervisionado (SFT) em pares de prompt-demonstração, (2) Treinamento do Reward Model (RM) em comparações pareadas de conclusões ranqueadas, e (3) Otimização da política utilizando Proximal Policy Optimization (PPO).
Mitigação do Alignment Tax (Taxa de Alinhamento): O ajuste fino padrão com PPO causa degradações de desempenho em benchmarks tradicionais de NLP (ex.: SQuADv2, DROP). Misturar gradientes da distribuição de pré-treinamento nas atualizações do PPO (PPO-ptx) mitiga essas perdas de capacidade sem comprometer os ganhos de preferência humana.

Método (com as equações principais)

Supervised Fine-Tuning (SFT): Ajuste fino dos modelos base GPT-3 em aproximadamente 13 mil demonstrações de prompts escritas por anotadores e enviadas via Playground da API da OpenAI.
Treinamento do Reward Model: Para cada prompt $x$ , anotadores ranqueiam $K$ conclusões ( $K \in [4, 9]$ ), gerando $(2 K)$ comparações. O reward model de 6B $r_{θ} (x, y)$ é treinado com perda de entropia cruzada pareada em todos os pares dentro de um elemento do lote: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ onde $y_{w}$ é a conclusão preferida em relação a $y_{l}$ .
Otimização da Política de RL (PPO-ptx): Otimiza a política $π_{ϕ}^{RL}$ contra recompensas escalares enquanto penaliza desvios do modelo SFT via divergência KL em nível de token, retendo opcionalmente a log-verossimilhança de pré-treinamento: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Aqui, $β$ é o coeficiente de penalidade KL e $γ$ controla a mistura de gradientes de pré-treinamento.

Resultados (com os números mais importantes)

Preferências Humanas: Anotadores preferem as saídas do modelo InstructGPT de 1.3B às do modelo base GPT-3 de 175B (uma diferença de 100x em parâmetros). As saídas do InstructGPT de 175B são preferidas às do GPT-3 de 175B em $85 \pm 3%$ das vezes, e $71 \pm 4%$ quando comparadas ao GPT-3 de 175B com prompting few-shot.
Veracidade e Alucinações: No TruthfulQA, o InstructGPT gera saídas verdadeiras e informativas cerca de duas vezes mais frequentemente que o GPT-3. Em tarefas de domínio fechado da API, a taxa de alucinação cai de 41% (GPT-3) para 21% (InstructGPT).
Toxicidade: O InstructGPT produz cerca de 25% menos saídas tóxicas que o GPT-3 no RealToxicityPrompts quando instruído a ser respeitoso.
Generalização: O InstructGPT generaliza de forma consistente para anotadores não vistos durante o treino ( $77.3%$ de concordância) e para instruções fora da distribuição, tais como QA/resumo de código e instruções em outros idiomas, embora o inglês represente mais de 96% dos dados de treinamento.

Limitações e questões em aberto

Compromissos entre Segurança e Alinhamento: O InstructGPT prioriza primariamente a adesão às instruções do usuário durante o treinamento; se instruído a ser malicioso ou tendencioso, ele segue a instrução eficazmente.
Erros Simples: O modelo ainda alucina, pode hesitar excessivamente (hedging) devido ao condicionamento de humildade epistêmica, e tem dificuldades com premissas falsas ou restrições múltiplas complexas.
Representatividade: O ajuste fino baseia-se no feedback de terceirizados (cerca de 40 anotadores contratados) e consultas de clientes do Playground da API, que não abrangem todo o espectro dos usuários finais.

Termos-chave

RLHF (Aprendizado por Reforço com Feedback Humano): Reinforcement Learning from Human Feedback; um método que treina um modelo de recompensa a partir de preferências humanas e ajusta uma política via aprendizado por reforço.
InstructGPT: A família de modelos GPT-3 ajustados com demonstrações supervisionadas e RLHF para seguir instruções em linguagem natural.
Alignment tax (Taxa de alinhamento): A queda de desempenho observada em benchmarks padrão de NLP (como DROP ou SQuAD) ao alinhar um modelo de linguagem às preferências humanas.
PPO-ptx: Uma variante do PPO que mistura gradientes de dados de pré-treinamento no objetivo de fine-tuning com RL para preservar as capacidades em benchmarks.
Reward Model (RM) (Modelo de Recompensa): Um modelo treinado para atribuir uma pontuação escalar a um par prompt-conclusão, prevendo a preferência humana sobre conclusões alternativas.
Supervised fine-tuning (SFT) (Ajuste Fino Supervisionado): A primeira etapa do pipeline de alinhamento na qual um modelo de linguagem base é ajustado em pares de prompt-demonstração escritos por humanos.
Hallucination (Alucinação): Quando um modelo de linguagem inventa informações infundadas ou fabricadas em tarefas de domínio fechado, como sumarização ou QA.

Perguntas

Por que o InstructGPT de 1.3B supera o GPT-3 de 175B em avaliações humanas?

O GPT-3 base otimiza a previsão do próximo token sobre textos não filtrados da web, frequentemente ignorando instruções ou repetindo o contexto. O InstructGPT é explicitamente otimizado em sinais de preferência humana para produzir respostas úteis e diretas, reduzindo a distância entre a capacidade bruta de parâmetros e a intenção da tarefa.

Como o artigo contorna a taxa de alinhamento (alignment tax)?

Incorporando um termo de atualização de pré-treinamento no objetivo de treino do PPO (PPO-ptx), multiplicando os gradientes de pré-treinamento por um coeficiente $γ = 27.8$ . Isso evita a regressão em conjuntos de dados públicos como SQuAD e DROP sem comprometer os ganhos de preferência humana.

Como o reward model foi treinado em saídas ranqueadas?

Os anotadores ranquearam $K$ conclusões ( $K$ entre 4 e 9) por prompt. O modelo de recompensa de 6B foi treinado em todos os $(2 K)$ pares simultaneamente dentro de um único elemento do lote, reduzindo passos de forward pass e evitando overfitting.

O InstructGPT reduz o viés demográfico?

Não. Quando medido no Winogender e no CrowS-Pairs, o InstructGPT não apresentou reduções significativas de viés em relação ao GPT-3 base, e prompts solicitando respeito ocasionalmente diminuíram a entropia (aumentando o viés medido).

A explicação desta página foi escrita por IA a partir do artigo e pode conter erros. Consulte o artigo para os detalhes.

Ler com tradução e IA