Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Artículos · arXiv 2203.02155

Entrenar modelos de lenguaje para seguir instrucciones mediante retroalimentación humana

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Publicado 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Leer con traducción e IA

Resumen en tres líneas

Los modelos de lenguaje grandes entrenados solo para predecir el siguiente token suelen fallar al seguir la intención del usuario, generando respuestas tóxicas, falsas o poco útiles.
Ajusta GPT-3 con demostraciones humanas supervisadas, entrena un reward model de 6B con salidas clasificadas y optimiza la política mediante PPO combinándolo con preentrenamiento.
Las salidas de InstructGPT de 1.3B se prefieren a las de GPT-3 de 175B, mientras que InstructGPT de 175B supera a GPT-3 de 175B el 85% de las veces y reduce las alucinaciones del 41% al 21%.

Resumen

Aumentar el tamaño de los modelos de lenguaje no los hace intrínsecamente mejores a la hora de seguir las intenciones del usuario. Por ejemplo, los modelos de lenguaje de gran tamaño pueden generar respuestas que no son verídicas, resultan tóxicas o simplemente no son útiles para el usuario. En otras palabras, estos modelos no están alineados con sus usuarios. En este artículo, mostramos una vía para alinear los modelos de lenguaje con la intención del usuario en una amplia gama de tareas mediante el ajuste fino con retroalimentación humana. A partir de un conjunto de prompts redactados por evaluadores y otros enviados a través de la API de OpenAI, recopilamos un conjunto de datos con demostraciones de los evaluadores sobre el comportamiento deseado del modelo, el cual utilizamos para ajustar GPT-3 mediante aprendizaje supervisado. Posteriormente, recopilamos un conjunto de datos con clasificaciones de respuestas del modelo, que empleamos para continuar el ajuste fino de este modelo supervisado mediante aprendizaje por refuerzo a partir de retroalimentación humana. Llamamos a los modelos resultantes InstructGPT. En evaluaciones humanas sobre nuestra distribución de prompts, las respuestas del modelo InstructGPT de 1.3B parámetros se prefieren a las del modelo GPT-3 de 175B, a pesar de tener 100 veces menos parámetros. Además, los modelos InstructGPT muestran mejoras en veracidad y reducciones en la generación de salidas tóxicas, con regresiones de rendimiento mínimas en conjuntos de datos públicos de PLN. Aunque InstructGPT todavía comete errores simples, nuestros resultados demuestran que el ajuste fino con retroalimentación humana es una dirección prometedora para alinear los modelos de lenguaje con la intención humana.

Resumen original (inglés)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Guía de lectura

Problema y motivación

Los modelos de lenguaje grandes (LLMs) estándar optimizan la predicción del siguiente token en corpus web. Este objetivo de preentrenamiento está desalineado con el objetivo del usuario de tener un asistente que siga las instrucciones de manera útil, veraz e inofensiva. En consecuencia, modelos base como GPT-3 con frecuencia alucinan hechos, inventan contexto falso, reflejan texto tóxico o ignoran restricciones explícitas del usuario. Escalar el número de parámetros por sí solo no elimina estos problemas.

Ideas clave

Alineación mediante aprendizaje por refuerzo a partir de retroalimentación humana (RLHF): Utilizar valoraciones humanas para moldear las respuestas del modelo hacia las intenciones del usuario en lugar de limitarse a la mera probabilidad de continuación.
Pipeline de entrenamiento en tres pasos: (1) Ajuste fino supervisado (SFT) sobre pares de prompt-demostración, (2) entrenamiento de un modelo de recompensa (Reward Model, RM) sobre comparaciones por pares de respuestas ordenadas, y (3) optimización de la política mediante Proximal Policy Optimization (PPO).
Mitigación del impuesto de alineación (Alignment tax): El ajuste fino estándar con PPO provoca degradaciones en el rendimiento sobre benchmarks estándar de PLN (por ejemplo, SQuADv2, DROP). Mezclar gradientes de la distribución de preentrenamiento en las actualizaciones de PPO (PPO-ptx) mitiga estas pérdidas de capacidad sin sacrificar las ganancias en preferencia humana.

Método (con las ecuaciones clave)

Ajuste fino supervisado (SFT): Ajustar modelos base GPT-3 sobre aproximadamente 13k demostraciones de prompts redactadas por evaluadores y enviadas a través del OpenAI API Playground.
Entrenamiento del modelo de recompensa: Para cada prompt $x$ , los evaluadores ordenan $K$ respuestas ( $K \in [4, 9]$ ), generando $(2 K)$ comparaciones. El modelo de recompensa de 6B $r_{θ} (x, y)$ se entrena con una pérdida de entropía cruzada por pares sobre todos los pares en un elemento del batch: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ donde $y_{w}$ es la respuesta preferida frente a $y_{l}$ .
Optimización de la política de RL (PPO-ptx): Optimizar la política $π_{ϕ}^{RL}$ frente a recompensas escalares, penalizando la desviación del modelo SFT mediante la divergencia KL a nivel de token y, opcionalmente, reteniendo la log-verosimilitud del preentrenamiento: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Aquí, $β$ es el coeficiente de penalización KL y $γ$ controla la mezcla de gradientes del preentrenamiento.

Resultados (con las cifras más importantes)

Preferencias humanas: Los evaluadores prefieren las respuestas del modelo InstructGPT de 1.3B a las del modelo base GPT-3 de 175B (una diferencia de 100 veces en parámetros). Las respuestas de InstructGPT de 175B se prefieren a las de GPT-3 de 175B un $85 \pm 3%$ de las veces, y un $71 \pm 4%$ frente a GPT-3 de 175B con prompting few-shot.
Veracidad y alucinaciones: En TruthfulQA, InstructGPT produce respuestas verídicas e informativas casi el doble de veces que GPT-3. En tareas de la API de dominio cerrado, la tasa de alucinaciones se reduce del 41% (GPT-3) al 21% (InstructGPT).
Toxicidad: InstructGPT genera aproximadamente un 25% menos de respuestas tóxicas que GPT-3 en RealToxicityPrompts cuando se le indica que sea respetuoso.
Generalización: InstructGPT generaliza de manera consistente a evaluadores no vistos durante el entrenamiento ( $77.3%$ de acuerdo) y a instrucciones fuera de distribución, como QA/resumen de código e instrucciones en idiomas distintos del inglés, a pesar de que el inglés representa más del 96% de los datos de entrenamiento.

Limitaciones y preguntas abiertas

Compromisos de seguridad y alineación: InstructGPT prioriza principalmente el seguimiento de las instrucciones del usuario durante el entrenamiento; si se le pide ser malicioso o sesgado, sigue la instrucción con eficacia.
Errores simples: El modelo todavía alucina, puede dudar o justificarse en exceso debido al condicionamiento de humildad epistémica, y tiene dificultades con premisas falsas o restricciones múltiples complejas.
Representatividad: El ajuste fino depende de la retroalimentación de contratistas (unos 40 evaluadores contratados) y de consultas de clientes del API Playground, lo que no captura el amplio espectro de los usuarios finales.

Términos clave

RLHF: Reinforcement Learning from Human Feedback (aprendizaje por refuerzo a partir de retroalimentación humana); método que entrena un modelo de recompensa a partir de preferencias humanas y ajusta una política mediante aprendizaje por refuerzo.
InstructGPT: La familia de modelos GPT-3 ajustados mediante demostraciones supervisadas y RLHF para seguir instrucciones en lenguaje natural.
Alignment tax: La caída de rendimiento observada en benchmarks estándar de PLN (como DROP o SQuAD) al alinear un modelo de lenguaje con las preferencias humanas.
PPO-ptx: Una variante de PPO que mezcla gradientes de los datos de preentrenamiento dentro del objetivo de ajuste de RL para preservar las capacidades en benchmarks estándar.
Reward Model (RM): Un modelo entrenado para asignar una puntuación escalar a un par de prompt-respuesta, prediciendo la preferencia humana frente a respuestas alternativas.
Supervised fine-tuning (SFT): El primer paso del pipeline de alineación donde un modelo de lenguaje base se ajusta sobre pares de prompt-demostración redactados por humanos.
Hallucination: Cuando un modelo de lenguaje inventa información no fundamentada o fabricada en tareas de dominio cerrado como resumen o respuestas a preguntas (QA).

Preguntas

¿Por qué un InstructGPT de 1.3B supera al GPT-3 de 175B en las evaluaciones humanas?

El modelo base GPT-3 optimiza la predicción del siguiente token en texto web sin filtrar, a menudo ignorando instrucciones o limitándose a repetir el contexto. InstructGPT se optimiza explícitamente mediante señales de preferencia humana para generar respuestas útiles y directas, reduciendo la brecha entre la capacidad bruta de parámetros y la intención de la tarea.

¿Cómo resuelve el artículo el impuesto de alineación (alignment tax)?

Incorporando un término de actualización de preentrenamiento en el objetivo de entrenamiento de PPO (PPO-ptx), multiplicando los gradientes de preentrenamiento por un coeficiente $γ = 27.8$ . Esto evita la degradación en conjuntos de datos públicos como SQuAD y DROP sin comprometer las ganancias en preferencia humana.

¿Cómo se entrenó el modelo de recompensa con las respuestas ordenadas?

Los evaluadores ordenaron $K$ respuestas ( $K$ entre 4 y 9) por cada prompt. El modelo de recompensa de 6B se entrenó sobre los $(2 K)$ pares simultáneamente dentro de un único elemento del batch, reduciendo las pasadas hacia adelante y evitando el sobreajuste.

¿InstructGPT reduce el sesgo demográfico?

No. Al medirse en Winogender y CrowS-Pairs, InstructGPT no mostró reducciones significativas de sesgo respecto al GPT-3 base, y las instrucciones que piden ser respetuoso en ocasiones disminuyeron la entropía (aumentando el sesgo medido).

La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.

Leer con traducción e IA