Artigos · arXiv 2005.14165
Language Models are Few-Shot Learners
Resumo em três linhas
- 🎯 Modelos padrão de NLP dependem de fine-tuning específico da tarefa em milhares de exemplos rotulados, arriscando baixa generalização fora da distribuição.
- 🔧 Treina o GPT-3 (até 175B de parâmetros) em 300B de tokens e o avalia via condicionamento por prompts em contexto, sem atualizações de pesos.
- 📈 No cenário few-shot, o GPT-3 175B emparelha ou se aproxima de modelos com fine-tuning, alcançando 71,2% no TriviaQA e 86,4% de acurácia no LAMBADA.
Resumo
Trabalhos recentes demonstraram ganhos substanciais em diversas tarefas e benchmarks de NLP por meio do pré-treinamento em um grande corpus de texto seguido de fine-tuning em uma tarefa específica. Embora tipicamente agnóstica quanto à arquitetura em relação à tarefa, essa abordagem ainda exige conjuntos de dados de fine-tuning específicos da tarefa com milhares ou dezenas de milhares de exemplos. Em contrapartida, os seres humanos geralmente conseguem realizar uma nova tarefa de linguagem a partir de apenas alguns exemplos ou de instruções simples — algo com que os sistemas atuais de NLP ainda têm grande dificuldade para fazer. Aqui, mostramos que aumentar a escala dos modelos de linguagem melhora significativamente o desempenho few-shot agnóstico à tarefa, por vezes alcançando competitividade com abordagens anteriores de fine-tuning no estado da arte. Especificamente, treinamos o GPT-3, um modelo de linguagem autorregressivo com 175 bilhões de parâmetros, 10 vezes mais do que qualquer modelo de linguagem não esparso anterior, e testamos seu desempenho no cenário few-shot. Para todas as tarefas, o GPT-3 é aplicado sem nenhuma atualização de gradiente ou fine-tuning, com as tarefas e as demonstrações few-shot sendo especificadas puramente por meio de interação textual com o modelo. O GPT-3 atinge um desempenho robusto em diversos conjuntos de dados de NLP, incluindo tarefas de tradução, question-answering e testes de cloze, além de várias tarefas que demandam raciocínio em tempo real ou adaptação de domínio, como desembaraçar palavras, usar uma palavra inédita em uma frase ou realizar aritmética de 3 dígitos. Ao mesmo tempo, também identificamos alguns conjuntos de dados nos quais o aprendizado few-shot do GPT-3 ainda encontra dificuldades, assim como conjuntos de dados em que o GPT-3 enfrenta problemas metodológicos relacionados ao treinamento em grandes corpora da web. Por fim, observamos que o GPT-3 consegue gerar amostras de artigos de notícias que avaliadores humanos têm dificuldade de distinguir de artigos redigidos por humanos. Discutimos os impactos sociais mais amplos dessa descoberta e do GPT-3 em geral.
Resumo original (inglês)
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.
Guia de leitura
Problema e motivação
Os pipelines padrão de pré-treinamento seguido de fine-tuning exigem grandes conjuntos de dados rotulados específicos para a tarefa (normalmente de milhares a centenas de milhares de exemplos). Esse requisito restringe a aplicabilidade geral, amplia a vulnerabilidade a correlações espúrias e se distancia da aprendizagem humana, que se adapta a tarefas utilizando somente instruções ou demonstrações mínimas. Tentativas anteriores de in-context learning com modelos menores ficaram substancialmente atrás do fine-tuning.
Ideias centrais
- In-Context Meta-Learning: O modelo desenvolve habilidades de reconhecimento de padrões durante o pré-treinamento e realiza a adaptação à tarefa no espaço de ativações durante as passagens forward em tempo de teste, sem atualizações de gradiente.
- Espectro de Condicionamento: As tarefas são testadas nas configurações zero-shot (apenas instrução), one-shot (instrução + uma demonstração) e few-shot ( demonstrações, tipicamente de 10 a 100 dentro de uma janela de 2048 tokens).
- Escalonamento Previsível: O escalonamento empírico por lei de potência (power-law) da perda de validação se converte em melhorias contínuas de capacidades downstream ao longo de 8 tamanhos de modelo (de 125M a 175B de parâmetros).
Método
O GPT-3 adota uma arquitetura transformer autorregressiva equivalente à do GPT-2, incorporando padrões alternados de atenção densa e atenção esparsa em faixas locais (locally banded sparse attention). Os modelos são pré-treinados em 300 bilhões de tokens com um tamanho de contexto efetivo de .
As principais formulações de avaliação incluem:
- Verossimilhança de Completação por Token: Para conjuntos de dados de múltipla escolha, as conclusões candidatas são avaliadas comparando-se as probabilidades normalizadas dos tokens.
- Normalização Incondicional: Em benchmarks como ARC, OpenBookQA e RACE, a verossimilhança do modelo é normalizada em relação a uma baseline não condicionada:
onde é um prompt genérico como
"Answer: "ou"A: ". - Decodificação de Geração: Tarefas de complementação em formato livre empregam beam search com largura de feixe (beam width) igual a 4 e penalidade de comprimento .
Resultados
- Closed-Book QA: O GPT-3 175B atinge 71,2% em few-shot no TriviaQA (superando o RAG com fine-tuning em domínio aberto, que obteve 68,0%), 41,5% no WebQuestions e 29,9% no Natural Questions.
- Modelagem de Linguagem e Cloze: Alcança perplexidade de 20,5 no PTB (zero-shot). No LAMBADA, formular a tarefa como um teste cloze resulta em 86,4% de acurácia few-shot (18% acima do SOTA anterior).
- Tradução: A tradução para o inglês atinge 39,2 BLEU (Fr En), 40,6 BLEU (De En) e 39,5 BLEU (Ro En), superando baselines anteriores de NMT não supervisionado.
- Raciocínio e Síntese: Resolve adições de 2 dígitos com 100% e adições de 3 dígitos com 80,4% de acurácia em configurações few-shot. Gera artigos sintéticos de notícias que avaliadores humanos distinguem de artigos reais com apenas 52% de precisão (próximo ao acaso).
Limitações e questões em aberto
- Tarefas com Baixo Desempenho: Apresenta dificuldades com comparações entre sequências, sobretudo em NLI (por exemplo, ANLI, RTE) e Word-in-Context (WiC em 49,4%, próximo ao acaso).
- Limitações Estruturais: O treinamento puramente autorregressivo impossibilita o condicionamento bidirecional, prejudicando tarefas que demandam releitura da sequência completa ou retroanálise (lookback).
- Contaminação de Dados: A raspagem massiva da web causa sobreposição entre treino e teste, exigindo auditorias rigorosas de filtragem post-hoc de -gramas (por exemplo, no Winograd e PIQA).
- Impactos Societais: O treinamento em escala de toda a internet incorpora vieses de gênero, raça e religião significativos, além de as saídas geradas poderem ser instrumentalizadas para a geração maliciosa de textos.
Termos-chave
- in-context learning (aprendizado em contexto)
- O processo de adaptação em loop interno no qual um modelo pré-treinado infere e executa uma tarefa em tempo de teste puramente a partir de instruções em linguagem natural e demonstrações no prompt, sem atualizações de gradiente.
- few-shot
- Um cenário de avaliação em que o modelo recebe tantos exemplos de demonstração (geralmente de 10 a 100) quanto couberem em sua janela de contexto, juntamente com a descrição da tarefa.
- one-shot
- Uma condição de avaliação que disponibiliza apenas uma única demonstração da tarefa combinada com uma descrição da tarefa em linguagem natural.
- zero-shot
- Uma configuração de avaliação na qual o modelo recebe apenas uma instrução em linguagem natural descrevendo a tarefa, sem nenhum exemplo de demonstração.
- closed-book question answering
- Responder a perguntas factuais baseando-se unicamente no conhecimento retido nos parâmetros do modelo, sem acesso a documentos externos ou sistemas de recuperação em tempo de teste.
- data contamination (contaminação de dados)
- A inclusão acidental de benchmarks de avaliação downstream, conjuntos de teste ou conjuntos de desenvolvimento dentro do amplo corpus de pré-treinamento coletado da internet.
- sparse attention (atenção esparsa)
- Uma modificação arquitetural que alterna camadas de atenção densa com padrões de atenção esparsa em faixas locais para equilibrar a eficiência computacional em contextos longos.
- unconditional normalization (normalização incondicional)
- A divisão da verossimilhança de uma complementação condicional pela probabilidade da complementação condicionada apenas a um prompt genérico, usada para mitigar vieses de comprimento e frequência em tarefas de múltipla escolha.
Perguntas
Quantos parâmetros o modelo GPT-3 completo possui e como ele foi treinado?
O GPT-3 possui 175 bilhões de parâmetros treináveis distribuídos em 96 camadas, 96 cabeças de atenção e uma dimensão oculta de 12.288. Ele foi treinado em 300 bilhões de tokens com versões filtradas do Common Crawl, WebText2, Books1, Books2 e Wikipedia, utilizando o otimizador Adam em clusters de GPUs Microsoft V100.
O GPT-3 utiliza fine-tuning para os benchmarks downstream?
Não, todos os resultados principais do artigo são avaliados sem atualizações de gradiente ou fine-tuning, dependendo exclusivamente de prompts de contexto zero-shot, one-shot ou few-shot.
Com que facilidade os seres humanos conseguem identificar artigos de notícias gerados pelo GPT-3 175B?
Os avaliadores humanos alcançaram aproximadamente 52% de acurácia na diferenciação entre artigos gerados pelo GPT-3 (curtos, com ~200 palavras, e longos, com ~500 palavras) e artigos redigidos por humanos, índice que fica pouquíssimo acima do acaso (50%).
Em quais tarefas o GPT-3 apresenta as maiores dificuldades?
O GPT-3 tem desempenho insatisfatório em tarefas de inferência em linguagem natural (ex.: ANLI e RTE), comparações bidirecionais como Word-in-Context (WiC, pontuando 49,4%) e certas tarefas de compreensão de leitura, como QuAC e RACE.
A explicação desta página foi escrita por IA a partir do artigo e pode conter erros. Consulte o artigo para os detalhes.