Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Статьи · arXiv 2203.02155

Обучение языковых моделей следованию инструкциям с помощью обратной связи от человека

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Опубликовано 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

📌 Большие языковые модели, обученные исключительно на предсказании следующего токена, часто не следуют намерениям пользователя, генерируя токсичные, ложные или бесполезные ответы.
⚙️ Авторы дообучают GPT-3 с учителем на демонстрациях, обучают 6B reward model на ранжированных ответах и оптимизируют политику с помощью PPO со смесью данных предобучения.
🏆 Ответы InstructGPT 1.3B предпочитают ответам 175B GPT-3, а версия 175B InstructGPT выигрывает у 175B GPT-3 в 85% случаев и сокращает галлюцинации с 41% до 21%.

Аннотация

Увеличение размера языковых моделей само по себе не делает их лучше в следовании намерениям пользователя. Например, большие языковые модели могут генерировать недостоверные, токсичные или попросту бесполезные ответы. Иными словами, эти модели не согласованы (not aligned) со своими пользователями. В этой статье мы представляем способ согласования языковых моделей с намерениями пользователей для широкого спектра задач с помощью тонкой настройки с обратной связью от человека. Начиная с набора промптов, написанных разметчиками и отправленных через OpenAI API, мы собираем датасет демонстраций желаемого поведения модели, который используем для обучения GPT-3 с учителем. Затем мы собираем датасет ранжирования ответов модели, который применяется для дальнейшей донастройки этой модели с помощью обучения с подкреплением на основе обратной связи от человека (RLHF). Полученные модели мы называем InstructGPT. В оценках людьми на нашем распределении промптов выходы модели InstructGPT с 1.3B параметров предпочитаются выходам 175B GPT-3, несмотря на то, что у нее в 100 раз меньше параметров. Более того, модели InstructGPT демонстрируют повышение правдивости и снижение генерации токсичного контента при минимальном падении производительности на публичных NLP-бенчмарках. Несмотря на то что InstructGPT все еще допускает простые ошибки, наши результаты показывают, что тонкая настройка с обратной связью от человека — перспективное направление для согласования языковых моделей с намерениями человека.

Оригинальная аннотация (англ.)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Разбор статьи

Проблема и мотивация

Стандартные большие языковые модели (LLM) оптимизируют предсказание следующего токена на веб-корпусах. Эта цель предобучения не согласована с целью пользователя — получить полезного, правдивого и безобидного ассистента, следующего инструкциям. В результате базовые модели, такие как GPT-3, часто галлюцинируют факты, выдумывают контекст, воспроизводят токсичный текст или игнорируют явные ограничения пользователя. Простое увеличение масштаба параметров не устраняет эти проблемы.

Ключевые идеи

Согласование через обучение с подкреплением на основе обратной связи от человека (RLHF): Использование оценок людей для формирования ответов модели в соответствии с намерениями пользователя, а не простой вероятностью продолжения текста.
Трехэтапный пайплайн обучения: (1) Supervised fine-tuning (SFT) на парах «промпт-демонстрация», (2) обучение модели вознаграждения (Reward Model, RM) на попарных сравнениях ранжированных ответов, и (3) оптимизация политики с помощью Proximal Policy Optimization (PPO).
Снижение налога на согласование (Alignment Tax): Стандартная тонкая настройка с помощью PPO приводит к деградации производительности на стандартных NLP-бенчмарках (например, SQuADv2, DROP). Подмешивание градиентов распределения предобучения в обновления PPO (PPO-ptx) смягчает эту потерю способностей без ущерба для человеческих предпочтений.

Метод (с ключевыми формулами)

Supervised Fine-Tuning (SFT): Донастройка базовых моделей GPT-3 приблизительно на 13 тысячах демонстраций промптов, написанных разметчиками и отправленных через OpenAI API Playground.
Обучение модели вознаграждения (Reward Model): Для каждого промпта $x$ разметчики ранжируют $K$ ответов ( $K \in [4, 9]$ ), что дает $(2 K)$ сравнений. Модель вознаграждения $r_{θ} (x, y)$ с 6B параметров обучается с использованием функции потерь попарной кросс-энтропии для всех пар в элементе батча: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ где $y_{w}$ — более предпочтительный ответ по сравнению с $y_{l}$ .
Оптимизация RL-политики (PPO-ptx): Оптимизация политики $π_{ϕ}^{RL}$ относительно скалярных наград со штрафом за отклонение от SFT-модели через посимвольную дивергенцию Кульбака — Лейблера (KL) и опциональным сохранением логарифмического правдоподобия данных предобучения: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Здесь $β$ — коэффициент штрафа KL, а $γ$ управляет долей градиентов данных предобучения.

Результаты (с важнейшими показателями)

Человеческие предпочтения: Разметчики предпочитают ответы модели InstructGPT 1.3B ответам базовой GPT-3 175B (разница в параметрах в 100 раз). Ответы InstructGPT 175B оказываются предпочтительнее GPT-3 175B в $85 \pm 3%$ случаев и в $71 \pm 4%$ случаев по сравнению с GPT-3 175B с few-shot промптингом.
Правдивость и галлюцинации: На бенчмарке TruthfulQA InstructGPT генерирует правдивые и информативные ответы примерно в два раза чаще, чем GPT-3. В закрытых API-задачах частота галлюцинаций снижается с 41% (GPT-3) до 21% (InstructGPT).
Токсичность: InstructGPT выдает примерно на 25% меньше токсичных ответов, чем GPT-3, на датасете RealToxicityPrompts при наличии промпта с инструкцией быть уважительным.
Обобщающая способность: InstructGPT надежно обобщается на новых разметчиков (согласие $77.3%$ ) и out-of-distribution инструкции, такие как генерация/суммаризация кода и запросы не на английском языке, хотя английский составлял более 96% обучающих данных.

Ограничения и открытые вопросы

Компромиссы безопасности и согласования: Во время обучения InstructGPT в первую очередь отдает приоритет следованию инструкциям пользователя; если промпт содержит вредоносный или предвзятый запрос, модель эффективно его выполнит.
Простые ошибки: Модель все еще галлюцинирует, может чрезмерно уклоняться от прямого ответа из-за выученной эпистемической осторожности и испытывает трудности с ложными предпосылками или сложными множественными ограничениями.
Репрезентативность: Тонкая настройка опирается на обратную связь контрактных специалистов (около 40 нанятых разметчиков) и запросы клиентов API Playground, которые не отражают весь спектр конечных пользователей.

Ключевые термины

RLHF: Reinforcement Learning from Human Feedback (обучение с подкреплением на основе обратной связи от человека); метод, при котором модель вознаграждения обучается на предпочтениях людей, а политика дообучается с помощью обучения с подкреплением.
InstructGPT: Семейство моделей GPT-3, дообученных с помощью демонстраций с учителем и RLHF для следования инструкциям на естественном языке.
Alignment tax: Налог на согласование; падение производительности на стандартных NLP-бенчмарках (таких как DROP или SQuAD), наблюдаемое при согласовании языковой модели с предпочтениями человека.
PPO-ptx: Вариант алгоритма PPO, который подмешивает градиенты из данных предобучения в целевую функцию RL-донастройки для сохранения базовых способностей на бенчмарках.
Reward Model (RM): Модель вознаграждения; модель, обученная присваивать скалярный балл паре «промпт-ответ», предсказывая предпочтение человека относительно альтернативных вариантов ответов.
Supervised fine-tuning (SFT): Обучение с учителем; первый этап пайплайна согласования, на котором базовая языковая модель дообучается на написанных людьми парах «промпт-демонстрация».
Hallucination: Галлюцинация; ситуация, когда языковая модель генерирует необоснованную или вымышленную информацию в задачах с закрытым доменом, таких как суммаризация или ответы на вопросы.

Вопросы

Почему InstructGPT 1.3B превосходит GPT-3 175B по оценкам людей?

Базовая GPT-3 оптимизирована под предсказание следующего токена на нефильтрованном веб-тексте, часто игнорируя инструкции или повторяя контекст. InstructGPT явно оптимизирована по сигналам человеческих предпочтений выдавать полезные и прямые ответы, что нивелирует разрыв между объемом параметров и пониманием намерения задачи.

Как в статье решается проблема налога на согласование (alignment tax)?

Путем включения слагаемого обновления предобучения в целевую функцию PPO (PPO-ptx), где градиенты предобучения умножаются на коэффициент $γ = 27.8$ . Это предотвращает регрессию на публичных датасетах вроде SQuAD и DROP без ухудшения качества с точки зрения предпочтений человека.

Как обучалась модель вознаграждения на ранжированных ответах?

Разметчики ранжировали $K$ ответов ( $K$ от 4 до 9) для каждого промпта. Модель вознаграждения на 6B параметров обучалась на всех $(2 K)$ парах одновременно в рамках одного элемента батча, что сократило число прямых проходов и предотвратило переобучение.

Снижает ли InstructGPT демографическую предвзятость?

Нет. При измерении на Winogender и CrowS-Pairs InstructGPT не показала значительного снижения предвзятости по сравнению с базовой GPT-3, а промпты с просьбой отвечать уважительно иногда снижали энтропию (тем самым увеличивая измеряемую предвзятость).

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ