Finetuned Language Models Are Zero-Shot Learners

Guía de lectura

Problema y motivación

Los modelos de lenguaje grandes (como GPT-3 175B) destacan en el aprendizaje few-shot aprovechando ejemplos en el contexto. Sin embargo, sus capacidades zero-shot siguen siendo sustancialmente más débiles en benchmarks complejos de PLN como la comprensión lectora, la inferencia en lenguaje natural (NLI) y la respuesta a preguntas. Los modelos no ajustados dependen de prompts formateados como continuaciones de los datos de preentrenamiento, lo cual es un formato poco natural y frágil para tareas que típicamente se articulan como instrucciones o consultas explícitas.

Los autores exploran si el ajuste fino supervisado sobre una amplia colección de tareas diversas de PLN, formuladas explícitamente como instrucciones en lenguaje natural, permite que los modelos de lenguaje generalicen en zero-shot a tipos de tareas completamente no vistos durante la inferencia.

Ideas clave

• Instruction Tuning: Convertir conjuntos de datos existentes de PLN a formatos de instrucción-respuesta utilizando plantillas de prompts en lenguaje natural, combinando la supervisión multitarea con el prompting.
• Exclusión de clústeres de tareas (Task Cluster Holdout): Agrupar conjuntos de datos en clústeres temáticos (p. ej., NLI, Closed-Book QA, traducción, análisis de sentimiento). Al evaluar la generalización zero-shot en un clúster objetivo $\mathcal{D}$, todos los conjuntos de datos pertenecientes a $\mathcal{D}$ (y los clústeres estrechamente vinculados) se excluyen del entrenamiento para garantizar una evaluación cruzada verdaderamente zero-shot.
• Clasificación con opciones: Para tareas de clasificación, añadir un sufijo OPTIONS: que lista directamente las etiquetas candidatas válidas en el prompt, guiando la distribución de salida del modelo generativo sin restringirlo puramente a comparaciones de logits de clasificación por rangos.

Método

El modelo base es LaMDA-PT, un transformer denso, de izquierda a derecha y de solo decodificador con 137 mil millones de parámetros, preentrenado con 2,49 billones ($2.49\text{T}$) de tokens BPE a partir de documentos web, código, Wikipedia y datos de diálogo (aproximadamente un 10% no inglés).

1. Agregación de datos: 62 conjuntos de datos de TensorFlow Datasets se agrupan en 12 clústeres. Para cada conjunto de datos, se redactan 10 plantillas únicas de instrucciones en lenguaje natural (incluyendo hasta 3 plantillas «invertidas», p. ej., generar texto a partir del sentimiento).
2. Configuración del entrenamiento: El límite de ejemplos de entrenamiento por conjunto de datos es de 30k. Los lotes se construyen mediante un esquema de mezcla proporcional a los ejemplos con una tasa máxima de mezcla de 3.000 para evitar que los conjuntos de datos grandes dominen. El entrenamiento se ejecuta durante 30k pasos de gradiente con un tamaño de lote de 8.192 tokens usando el optimizador Adafactor (tasa de aprendizaje de $3\times 10^{-5}$), longitud de secuencia de 1024 (entrada) y 256 (objetivo), con empaquetado de secuencias (sequence packing).
3. Protocolo de evaluación: Para evaluar a través de $c$ clústeres reservados, se entrenan $c$ modelos FLAN distintos. El rendimiento se reporta tanto como el promedio entre todas las plantillas de instrucción como con la mejor plantilla seleccionada en un conjunto de validación.
4. Inferencia con ejemplos Few-Shot: Cuando se dispone de $k$ ejemplos $(x_i,y_i)$, las entradas se formatean como: $$\text{instruct}(x_1)\oplus y_1\oplus \text{instruct}(x_2)\oplus y_2\oplus \cdots \oplus \text{instruct}(x_k)\oplus y_k\oplus \text{instruct}(x)$$ donde $\oplus$ representa la concatenación con un token separador, con un límite máximo de 16 ejemplos y 960 tokens.

Resultados

• Comparación Zero-Shot frente a GPT-3: Utilizando la mejor plantilla del conjunto de desarrollo, FLAN 137B en zero-shot supera a GPT-3 175B en zero-shot en 20 de los 25 benchmarks evaluados y supera a GPT-3 few-shot en 10 conjuntos de datos, incluyendo ANLI R1–R3, RTE, BoolQ, OpenbookQA y StoryCloze.
• Tipos de tareas: Se observan grandes mejoras en tareas formuladas naturalmente como instrucciones (p. ej., NLI, comprensión lectora, closed-book QA, traducción). En RTE, FLAN alcanza un 84,1% (mejor plantilla de desarrollo) frente al 63,5% de GPT-3 zero-shot y el 72,9% de GPT-3 few-shot. En BoolQ, FLAN alcanza el 82,9% frente al 60,5% de GPT-3 zero-shot y el 77,5% few-shot.
• Dependencia de la escala: Las ablaciones en 422M, 2B, 8B, 68B y 137B parámetros revelan que el instruction tuning perjudica la generalización zero-shot en tareas no vistas para modelos de $\le 8\text{B}$ parámetros. La transferencia positiva solo emerge a gran escala ($\sim 68\text{B}$ y $137\text{B}$).
• Importancia de las instrucciones: El ajuste fino sin plantillas de instrucción (solo entrada-salida: 37,3% de promedio en 4 clústeres) o solo con nombres de conjuntos de datos (46,6%) produce un rendimiento zero-shot significativamente peor que las instrucciones naturales (55,2%).
• Compatibilidad con Prompt Tuning: El prompt tuning eficiente en parámetros aplicado a FLAN produce una mayor precisión en SuperGLUE que cuando se aplica al modelo base LaMDA-PT sin ajustar, especialmente en regímenes de pocos recursos de 32 ejemplos.

Limitaciones y preguntas abiertas

• Tareas de completar oraciones: El instruction tuning aporta un beneficio mínimo (y a veces perjudicial) en tareas de tipo modelado de lenguaje donde las instrucciones son redundantes, como Winogrande o la compleción de oraciones en razonamiento de sentido común.
• Complejidad de las instrucciones: El artículo solo investiga instrucciones breves de una sola oración en lugar de directrices de prompts largas y elaboradas como las que típicamente se proporcionan a evaluadores humanos.
• Ventana de contexto y cómputo: La longitud de contexto de 1024 tokens de FLAN impidió una evaluación rigurosa de tareas de resumen. Además, ejecutar y servir un modelo denso de 137B parámetros requiere recursos de cómputo elevados.