Language Models are Few-Shot Learners

Tom B. Brown; Benjamin Mann; Nick Ryder; Melanie Subbiah; Jared Kaplan; Prafulla Dhariwal; Arvind Neelakantan; Pranav Shyam; Girish Sastry; Amanda Askell; Sandhini Agarwal; Ariel Herbert-Voss; Gretchen Krueger; Tom Henighan; Rewon Child; Aditya Ramesh; Daniel M. Ziegler; Jeffrey Wu; Clemens Winter; Christopher Hesse; Mark Chen; Eric Sigler; Mateusz Litwin; Scott Gray; Benjamin Chess; Jack Clark; Christopher Berner; Sam McCandlish; Alec Radford; Ilya Sutskever; Dario Amodei

Статьи · arXiv 2005.14165

Language Models are Few-Shot Learners

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss et al.

Опубликовано 2020-05-28cs.CL arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Стандартные NLP-модели требуют файнтюнинга на тысячах размеченных примеров под каждую задачу, рискуя плохой OOD-генерализацией.
🔧 Обучение GPT-3 (до 175B параметров) на 300B токенов и оценка через контекстное обусловливание (in-context prompting) без обновления весов.
📈 В режиме few-shot GPT-3 175B догоняет файнтюненые модели, набирая 71.2% на TriviaQA и 86.4% точности на LAMBADA.

Аннотация

Недавние работы продемонстрировали существенные улучшения во многих задачах и бенчмарках NLP за счет предобучения на крупном текстовом корпусе с последующим файнтюнингом под конкретную задачу. Несмотря на то, что архитектура таких подходов обычно не зависит от задачи, этот метод по-прежнему требует специфичных для задачи датасетов для дообучения, состоящих из тысяч или десятков тысяч примеров. Напротив, люди обычно способны решать новую языковую задачу всего по нескольким примерам или простым инструкциям — то, с чем современные системы NLP все еще справляются с трудом. В данной работе мы показываем, что масштабирование языковых моделей значительно улучшает независимую от задач few-shot производительность, иногда даже достигая конкурентоспособности с предшествующими SOTA-подходами на основе файнтюнинга. В частности, мы обучаем GPT-3 — авторегрессионную языковую модель со 175 миллиардами параметров, что в 10 раз больше любой предыдущей неразреженной языковой модели, — и тестируем ее возможности в режиме few-shot. Во всех задачах GPT-3 применяется без каких-либо градиентных обновлений или дообучения: задачи и few-shot демонстрации задаются исключительно через текстовое взаимодействие с моделью. GPT-3 достигает высоких результатов на множестве датасетов NLP, включая задачи перевода, вопросно-ответные системы и заполнение пропусков (cloze tasks), а также в ряде задач, требующих рассуждений «на лету» или адаптации к предметной области, таких как расшифровка анаграмм, использование нового слова в предложении или выполнение трехзначных арифметических операций. В то же время мы выявили некоторые датасеты, где few-shot обучение GPT-3 все еще испытывает трудности, а также задачи, где GPT-3 сталкивается с методологическими проблемами, связанными с обучением на крупных веб-корпусах. Наконец, мы обнаружили, что GPT-3 способна генерировать примеры новостных статей, которые людям сложно отличить от статей, написанных человеком. Мы обсуждаем более широкие социальные последствия этого открытия и GPT-3 в целом.

Оригинальная аннотация (англ.)

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.

Разбор статьи

Проблема и мотивация

Стандартные пайплайны «предобучение + файнтюнинг» требуют больших размеченных датасетов под конкретную задачу (обычно от тысяч до сотен тысяч примеров). Это ограничение снижает общую применимость, повышает уязвимость к ложным корреляциям и отличается от человеческого обучения, которое адаптируется к задачам лишь по инструкциям или минимальным демонстрациям. Предыдущие попытки in-context learning на моделях меньшего размера значительно уступали файнтюнингу.

Ключевые идеи

In-Context Meta-Learning: Модель осваивает навыки распознавания паттернов во время предобучения и выполняет адаптацию к задаче в пространстве активаций во время прямого прохода на этапе инференса без градиентных обновлений.
Спектр обусловливания: Задачи тестируются в режимах zero-shot (только инструкция), one-shot (инструкция + одна демонстрация) и few-shot ( $K$ демонстраций, обычно от 10 до 100 в пределах окна контекста в 2048 токенов).
Предсказуемое масштабирование: Эмпирический степенной закон масштабирования (power-law) функции потерь на валидации транслируется в непрерывный рост возможностей в прикладных задачах по 8 размерам моделей (от 125M до 175B параметров).

Метод

GPT-3 использует авторегрессионную архитектуру трансформера, аналогичную GPT-2, добавляя чередующиеся плотные и локально-полосовые разреженные паттерны внимания (locally banded sparse attention). Модели предобучены на 300 миллиардах токенов с эффективным размером контекста $n_{ctx} = 2048$ .

Ключевые формулировки оценки включают:

Правдоподобие генерации по токенам (Per-Token Completion Likelihood): Для датасетов с множественным выбором варианты ответов оцениваются путем сравнения нормализованных вероятностей токенов.
Безусловная нормализация (Unconditional Normalization): В таких бенчмарках, как ARC, OpenBookQA и RACE, правдоподобие модели нормализуется относительно базового уровня без контекста: $\frac{P ( completion ∣ context )}{P ( completion ∣ answer_context )}$ где $answer_context$ — это обобщенный промпт вроде "Answer: " или "A: ".
Декодирование генерации: В задачах генерации в свободной форме используется beam search с шириной луча 4 и штрафом за длину $α = 0.6$ .

Результаты

Closed-Book QA: GPT-3 175B достигает 71.2% в режиме few-shot на TriviaQA (превосходя дообученный RAG для открытого домена с 68.0%), 41.5% на WebQuestions и 29.9% на Natural Questions.
Языковое моделирование и Cloze-тесты: Достигает перплексии 20.5 на PTB (zero-shot). На LAMBADA формулировка задачи в виде cloze-теста дает точность 86.4% в режиме few-shot (на 18% выше предыдущего SOTA).
Перевод: Перевод на английский язык достигает 39.2 BLEU (Fr $\to$ En), 40.6 BLEU (De $\to$ En) и 39.5 BLEU (Ro $\to$ En), превосходя предыдущие бейзлайны неконтролируемого машинного перевода (unsupervised NMT).
Рассуждения и синтез: Решает сложение двухзначных чисел со 100% точностью и трехзначных с 80.4% в режиме few-shot. Генерирует синтетические новостные статьи, которые оценщики-люди отличают от настоящих с точностью всего 52% (на уровне случайного угадывания).

Ограничения и открытые вопросы

Слабые стороны: Испытывает трудности со сравнением последовательностей, особенно в NLI (например, ANLI, RTE) и Word-in-Context (WiC — 49.4%, на уровне случайного угадывания).
Структурные ограничения: Чисто авторегрессионное обучение исключает двунаправленное обусловливание, что вредит задачам, требующим возврата назад или повторного прочтения всей последовательности.
Загрязнение данных (Data Contamination): Масштабный веб-скрейпинг приводит к пересечению обучающей и тестовой выборок, требуя обширных пост-хок аудитов с фильтрацией $n$ -грамм (например, на Winograd и PIQA).
Социальные последствия: Обучение на масштабах интернета вбирает существенные гендерные, расовые и религиозные предубеждения, а генерируемый контент может быть использован для злонамеренного создания текстов.

Ключевые термины

in-context learning (обучение в контексте): Процесс адаптации во внутреннем цикле, при котором предобученная модель распознает и выполняет задачу во время инференса исключительно на основе инструкций на естественном языке и примеров в промпте без обновления градиентов.
few-shot: Режим оценки, при котором модель получает вместе с описанием задачи столько демонстрационных примеров (обычно от 10 до 100), сколько помещается в ее контекстное окно.
one-shot: Условие оценки, допускающее только один демонстрационный пример задачи в сочетании с описанием задачи на естественном языке.
zero-shot: Сценарий оценки, в котором модель получает только инструкцию на естественном языке, описывающую задачу, без каких-либо демонстрационных примеров.
closed-book question answering (вопросно-ответные системы без внешних источников): Ответы на фактологические вопросы, опирающиеся исключительно на знания, сохраненные в параметрах модели, без доступа к внешним документам или поисковым системам во время инференса.
data contamination (загрязнение данных): Случайное попадание бенчмарков, тестовых или валидационных наборов данных для оценки в масштабный корпус предобучения, собранный из интернета.
sparse attention (разреженное внимание): Архитектурная модификация, чередующая слои плотного внимания с локально-полосовыми паттернами разреженного внимания для баланса вычислительной эффективности на длинных контекстах.
unconditional normalization (безусловная нормализация): Деление условного правдоподобия ответа на вероятность ответа при наличии только общего промпта; используется для устранения смещений, связанных с длиной и частотностью, в задачах с множественным выбором.

Вопросы

Сколько параметров содержит полная модель GPT-3 и как она обучалась?

GPT-3 содержит 175 миллиардов обучаемых параметров на 96 слоях, 96 голов внимания и скрытую размерность 12 288. Она обучалась на 300 миллиардах токенов из отфильтрованного Common Crawl, WebText2, Books1, Books2 и Wikipedia с использованием оптимизатора Adam на GPU-кластерах Microsoft V100.

Используется ли в GPT-3 файнтюнинг для прикладных бенчмарков?

Нет, все основные результаты в статье оцениваются без градиентных обновлений или дообучения, опираясь исключительно на контекстные промпты в режимах zero-shot, one-shot или few-shot.

Насколько легко люди могут отличить новостные статьи, созданные GPT-3 175B?

Оценщики-люди достигали точности примерно в 52% при попытке отличить короткие (~~200 слов) и более длинные (~~500 слов) сгенерированные GPT-3 новости от реальных статей, написанных людьми, что едва превышает уровень случайного угадывания (50%).

На каких задачах GPT-3 испытывает наибольшие трудности?

GPT-3 показывает низкие результаты в задачах логического вывода на естественном языке (например, ANLI и RTE), двунаправленного сопоставления, таких как Word-in-Context (WiC, результат 49.4%), и некоторых задачах понимания прочитанного текста, таких как QuAC и RACE.

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ