Artículos · arXiv 2005.14165
Language Models are Few-Shot Learners
Resumen en tres líneas
- 🎯 Los modelos estándar de PLN dependen del fine-tuning con miles de ejemplos etiquetados, arriesgando una pobre generalización fuera de distribución.
- 🔧 Se entrena GPT-3 (hasta 175B de parámetros) con 300B de tokens y se evalúa mediante condicionamiento contextual (prompting) sin actualizar pesos.
- 📈 En el régimen few-shot, GPT-3 175B iguala o se acerca a modelos con fine-tuning, logrando un 71.2% en TriviaQA y un 86.4% de precisión en LAMBADA.
Resumen
Trabajos recientes han demostrado mejoras sustanciales en numerosas tareas y benchmarks de PLN mediante el preentrenamiento en un corpus textual extenso seguido de fine-tuning en una tarea específica. Aunque suelen presentar una arquitectura agnóstica respecto a la tarea, este método aún requiere conjuntos de datos de fine-tuning específicos con miles o decenas de miles de ejemplos. En contraste, los humanos generalmente pueden realizar una nueva tarea lingüística a partir de unos pocos ejemplos o de instrucciones sencillas, algo que los sistemas actuales de PLN todavía tienen grandes dificultades para lograr. Aquí demostramos que escalar los modelos de lenguaje mejora enormemente el rendimiento few-shot agnóstico de la tarea, alcanzando en ocasiones niveles competitivos con los enfoques previos de fine-tuning del estado del arte. Específicamente, entrenamos GPT-3, un modelo de lenguaje autorregresivo con 175 mil millones de parámetros (10 veces más que cualquier modelo de lenguaje no disperso previo), y evaluamos su rendimiento en el entorno few-shot. Para todas las tareas, GPT-3 se aplica sin ninguna actualización de gradientes ni fine-tuning, especificando las tareas y las demostraciones few-shot únicamente mediante interacción textual con el modelo. GPT-3 logra un rendimiento sólido en muchos conjuntos de datos de PLN, incluyendo traducción, question-answering y tareas de tipo cloze, así como en diversas tareas que requieren razonamiento sobre la marcha o adaptación de dominio, como descifrar palabras desordenadas, usar una palabra nueva en una oración o realizar aritmética de 3 dígitos. Al mismo tiempo, identificamos algunos conjuntos de datos donde el aprendizaje few-shot de GPT-3 aún tiene dificultades, así como otros donde enfrenta problemas metodológicos vinculados al entrenamiento con grandes corpus web. Finalmente, hallamos que GPT-3 puede generar muestras de artículos de noticias que evaluadores humanos apenas logran distinguir de artículos redactados por personas. Discutimos los impactos sociales más amplios de este hallazgo y de GPT-3 en general.
Resumen original (inglés)
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.
Guía de lectura
Problema y motivación
Los pipelines estándar de preentrenamiento más fine-tuning requieren grandes conjuntos de datos etiquetados específicos para cada tarea (normalmente de miles a cientos de miles de ejemplos). Este requisito limita la aplicabilidad general, incrementa la susceptibilidad a correlaciones espurias y se aleja del aprendizaje humano, el cual se adapta a nuevas tareas usando únicamente instrucciones o mínimas demostraciones. Los intentos previos de in-context learning con modelos más pequeños se quedaron muy por detrás del fine-tuning.
Ideas clave
- In-Context Meta-Learning: El modelo adquiere habilidades de reconocimiento de patrones durante el preentrenamiento y realiza la adaptación a la tarea en el espacio de activaciones durante las pasadas hacia adelante (forward passes) en tiempo de prueba, sin actualizaciones de gradiente.
- Espectro de condicionamiento: Las tareas se evalúan en regímenes zero-shot (solo instrucción), one-shot (instrucción + una demostración) y few-shot ( demostraciones, habitualmente de 10 a 100 dentro de una ventana de 2048 tokens).
- Escalado predecible: El escalado empírico según leyes de potencias (power-law) de la pérdida de validación se traduce en mejoras continuas de capacidades en tareas downstream a lo largo de 8 tamaños de modelo (de 125M a 175B de parámetros).
Método
GPT-3 utiliza una arquitectura transformer autorregresiva idéntica a GPT-2, incorporando patrones alternados de atención densa y atención dispersa en bandas locales (locally banded sparse attention). Los modelos se preentrenan con 300 mil millones de tokens con un tamaño de contexto efectivo de .
Las formulaciones clave de evaluación incluyen:
- Verosimilitud de compleción por token: Para conjuntos de datos de opción múltiple, las compleciones candidatas se evalúan comparando probabilidades normalizadas por token.
- Normalización incondicional: En benchmarks como ARC, OpenBookQA y RACE, la verosimilitud del modelo se normaliza frente a una línea base no condicionada:
donde es un prompt genérico como
"Answer: "o"A: ". - Decodificación de generación: Las tareas de compleción de formato libre emplean beam search con un ancho de haz de 4 y una penalización de longitud .
Resultados
- Closed-Book QA: GPT-3 175B alcanza un 71.2% few-shot en TriviaQA (superando a RAG con fine-tuning en dominio abierto con 68.0%), 41.5% en WebQuestions y 29.9% en Natural Questions.
- Modelado de lenguaje y Cloze: Obtiene una perplejidad de 20.5 en PTB (zero-shot). En LAMBADA, plantear la tarea como un test de tipo cloze logra un 86.4% de precisión few-shot (18% por encima del SOTA previo).
- Traducción: La traducción hacia el inglés alcanza 39.2 BLEU (Fr En), 40.6 BLEU (De En) y 39.5 BLEU (Ro En), superando las líneas base previas de NMT no supervisado.
- Razonamiento y síntesis: Resuelve sumas de 2 dígitos con un 100% y sumas de 3 dígitos con un 80.4% en entornos few-shot. Genera artículos de noticias sintéticos que evaluadores humanos distinguen de los reales con solo un 52% de precisión (muy cerca del azar).
Limitaciones y preguntas abiertas
- Tareas con bajo rendimiento: Presenta dificultades en comparaciones entre secuencias, especialmente en NLI (p. ej., ANLI, RTE) y Word-in-Context (WiC con 49.4%, cercano al azar).
- Limitaciones estructurales: El entrenamiento puramente autorregresivo impide el condicionamiento bidireccional, lo que perjudica tareas que requieren retroceder o releer la secuencia completa.
- Contaminación de datos: El raspado web masivo genera solapamiento entre entrenamiento y prueba, lo que exige extensas auditorías de filtrado de -gramas post-hoc (p. ej., en Winograd y PIQA).
- Impactos sociales: El entrenamiento a escala de internet absorbe importantes sesgos de género, raciales y religiosos, y las salidas generadas pueden utilizarse para la generación maliciosa de texto.
Términos clave
- in-context learning (aprendizaje en contexto)
- Proceso de adaptación en el bucle interno donde un modelo preentrenado infiere y ejecuta una tarea en tiempo de prueba únicamente a partir de instrucciones en lenguaje natural y demostraciones en el prompt, sin actualizaciones de gradientes.
- few-shot
- Configuración de evaluación en la que el modelo recibe tantos ejemplos de demostración (habitualmente de 10 a 100) como quepan dentro de su ventana de contexto junto con la descripción de la tarea.
- one-shot
- Condición de evaluación que proporciona una única demostración de la tarea emparejada con una descripción de la misma en lenguaje natural.
- zero-shot
- Configuración de evaluación en la que el modelo recibe únicamente una instrucción en lenguaje natural que describe la tarea, sin ningún ejemplo de demostración.
- closed-book question answering (pregunta-respuesta a libro cerrado)
- Respuesta a preguntas fácticas basándose únicamente en el conocimiento almacenado en los parámetros del modelo, sin acceso a documentos externos ni a sistemas de recuperación durante la prueba.
- data contamination (contaminación de datos)
- Inclusión accidental de benchmarks de evaluación downstream, conjuntos de prueba o de validación dentro del corpus masivo de preentrenamiento obtenido de internet.
- sparse attention (atención dispersa)
- Modificación arquitectónica que alterna capas de atención densa con patrones de atención dispersa en bandas locales para balancear la eficiencia computacional en contextos largos.
- unconditional normalization (normalización incondicional)
- División de la verosimilitud de compleción condicional entre la probabilidad de la compleción dado solo un prompt genérico, utilizada para eliminar sesgos de longitud y frecuencia en tareas de opción múltiple.
Preguntas
¿Cuántos parámetros tiene el modelo completo GPT-3 y cómo fue entrenado?
GPT-3 cuenta con 175 mil millones de parámetros entrenables distribuidos en 96 capas, 96 cabezas de atención y una dimensión oculta de 12 288. Fue entrenado con 300 mil millones de tokens provenientes de Common Crawl filtrado, WebText2, Books1, Books2 y Wikipedia utilizando Adam en clusters de GPUs Microsoft V100.
¿Utiliza GPT-3 fine-tuning para los benchmarks downstream?
No, todos los resultados principales del artículo se evalúan sin actualizaciones de gradientes ni fine-tuning, basándose exclusivamente en prompts contextuales zero-shot, one-shot o few-shot.
¿Con qué facilidad pueden los humanos identificar artículos de noticias generados por GPT-3 175B?
Los evaluadores humanos lograron aproximadamente un 52% de precisión para distinguir artículos de noticias generados por GPT-3 (tanto cortos de ~200 palabras como más largos de ~500 palabras) de artículos escritos por personas, lo cual está apenas por encima del azar (50%).
¿En qué tareas presenta GPT-3 las mayores dificultades?
GPT-3 tiene un bajo rendimiento en tareas de inferencia en lenguaje natural (p. ej., ANLI y RTE), comparaciones bidireccionales como Word-in-Context (WiC, con 49.4%) y ciertas tareas de comprensión lectora como QuAC y RACE.
La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.