Finetuned Language Models Are Zero-Shot Learners

Guia de leitura

Problema e motivação

Modelos de linguagem grandes (como o GPT-3 175B) destacam-se no aprendizado few-shot ao aproveitar exemplares no próprio contexto. No entanto, suas capacidades zero-shot continuam substancialmente mais fracas em benchmarks complexos de PLN, como compreensão de texto, inferência em linguagem natural (NLI) e resposta a perguntas. Modelos não ajustados dependem de prompts formatados como continuações dos dados de pré-treinamento, o que é um formato não natural e frágil para tarefas que normalmente são formuladas como instruções ou consultas explícitas.

Os autores investigam se o ajuste fino supervisionado em uma ampla coleção de tarefas diversificadas de PLN, formuladas explicitamente como instruções em linguagem natural, capacita os modelos de linguagem a generalizarem em modo zero-shot para tipos de tarefas completamente não vistas no momento da inferência.

Ideias-chave

• Instruction Tuning: Converter datasets existentes de PLN em formatos de instrução-resposta utilizando templates de prompts em linguagem natural, combinando supervisão multitarefa com prompting.
• Task Cluster Holdout: Agrupar datasets em clusters temáticos (por exemplo, NLI, Closed-Book QA, Tradução, Sentimento). Ao testar a generalização zero-shot em um cluster-alvo $\mathcal{D}$, todos os datasets pertencentes a $\mathcal{D}$ (e clusters estreitamente relacionados) são excluídos do treinamento para garantir uma avaliação cruzada de tarefas puramente zero-shot.
• Classification with Options: Para tarefas de classificação, anexar um sufixo OPTIONS: listando os rótulos candidatos válidos diretamente no prompt, orientando a distribuição de saída do modelo generativo sem restringi-lo puramente a comparações de logits em classificação por ranqueamento.

Método

O modelo base é o LaMDA-PT, um transformador denso, da esquerda para a direita, apenas decodificador (decoder-only) com 137 bilhões de parâmetros, pré-treinado em 2,49T de tokens BPE abrangendo documentos da web, código, Wikipedia e dados de diálogo (cerca de 10% não ingleses).

1. Agregação de Dados: 62 datasets do TensorFlow Datasets são agrupados em 12 clusters. Para cada dataset, são compostos 10 templates exclusivos de instrução em linguagem natural (incluindo até 3 templates "invertidos", como gerar texto a partir do sentimento).
2. Configuração de Treinamento: Os exemplos de treinamento por dataset são limitados a 30 mil. Os lotes são construídos usando um esquema de mistura proporcional aos exemplos com uma taxa máxima de mistura de 3.000 para evitar que datasets grandes dominem. O treinamento é executado por 30 mil passos de gradiente com tamanho de lote de 8.192 tokens usando o otimizador Adafactor (taxa de aprendizado $3\times 10^{-5}$), comprimento de sequência de 1024 (entrada) e 256 (alvo), com empacotamento de sequências (sequence packing).
3. Protocolo de Avaliação: Para avaliar ao longo de $c$ clusters retidos, são treinados $c$ modelos FLAN distintos. O desempenho é relatado tanto pela média de todos os templates de instrução quanto pelo melhor template selecionado em um conjunto de validação.
4. Inferência com Exemplares Few-Shot: Quando $k$ exemplares $(x_i,y_i)$ estão disponíveis, as entradas são formatadas como: $$\text{instruct}(x_1)\oplus y_1\oplus \text{instruct}(x_2)\oplus y_2\oplus \cdots \oplus \text{instruct}(x_k)\oplus y_k\oplus \text{instruct}(x)$$ onde $\oplus$ representa a concatenação com um token separador, limitado a 16 exemplares e 960 tokens.

Resultados

• Comparação Zero-Shot contra o GPT-3: Utilizando o melhor template de validação, o FLAN 137B zero-shot supera o GPT-3 175B zero-shot em 20 de 25 benchmarks avaliados e supera o GPT-3 few-shot em 10 datasets, incluindo ANLI R1–R3, RTE, BoolQ, OpenbookQA e StoryCloze.
• Tipos de Tarefas: Grandes ganhos ocorrem em tarefas naturalmente formuladas como instruções (por exemplo, NLI, compreensão de texto, QA de livro fechado, tradução). No RTE, o FLAN alcança 84,1% (melhor template de validação) contra 63,5% do GPT-3 zero-shot e 72,9% do GPT-3 few-shot. No BoolQ, o FLAN atinge 82,9% contra 60,5% do GPT-3 zero-shot e 77,5% few-shot.
• Dependência de Escala: Abreviações e ablações em 422M, 2B, 8B, 68B e 137B parâmetros revelam que o instruction tuning prejudica a generalização zero-shot em tarefas não vistas para modelos com $\le 8\text{B}$ de parâmetros. A transferência positiva surge apenas em escala ($\sim 68\text{B}$ e $137\text{B}$).
• Importância das Instruções: O ajuste fino sem templates de instrução (apenas entrada-saída: média de 37,3% em 4 clusters) ou apenas com nomes de datasets (46,6%) resulta em um desempenho zero-shot significativamente pior do que com instruções naturais (55,2%).
• Compatibilidade com Prompt Tuning: O prompt tuning eficiente em parâmetros aplicado ao FLAN resulta em maior acurácia no SuperGLUE do que quando aplicado ao modelo base não ajustado LaMDA-PT, especialmente em regimes com poucos recursos de 32 exemplos.

Limitações e questões em aberto

• Tarefas de Preenchimento de Sentenças: O instruction tuning oferece benefício mínimo (e às vezes prejudicial) em tarefas no estilo modelagem de linguagem, onde as instruções são redundantes, como no Winogrande ou em conclusões de sentenças em raciocínio de senso comum.
• Complexidade das Instruções: O artigo investiga apenas instruções curtas de uma única frase, em vez de diretrizes de prompt longas e elaboradas comumente fornecidas a avaliadores humanos.
• Janela de Contexto e Computação: O comprimento de contexto de 1024 tokens do FLAN impediu a avaliação rigorosa de tarefas de sumarização. Além disso, a execução e o atendimento de um modelo denso de 137B parâmetros requerem altos recursos computacionais.