GPT-4 Technical Report

Guía de lectura

Problema y motivación

Los modelos de lenguaje grandes (LLMs) mostraron un gran potencial en el procesamiento del lenguaje natural, pero las iteraciones previas (como GPT-3.5) exhibían debilidades notables en razonamiento complejo, fiabilidad, precisión factual y seguridad. Además, entrenar modelos de frontera de gran tamaño requiere enormes presupuestos computacionales, donde el ajuste estándar de hiperparámetros a la escala final resulta inviable. El objetivo de GPT-4 es construir un modelo multimodal a gran escala capaz de procesar mezclas arbitrarias de entradas de imagen y texto, manteniendo un comportamiento de escalado predecible y una seguridad y alineamiento sustancialmente mejorados.

Ideas clave

• Escalado predecible: Las arquitecturas y los flujos de optimización pueden estabilizarse de tal manera que la pérdida final de prueba y las evaluaciones de código posteriores (como las tasas de éxito en HumanEval) se extrapolen de forma fiable a partir de modelos más pequeños entrenados con entre $1.000\times$ y $10.000\times$ menos cómputo.
• Comprensión multimodal: GPT-4 acepta imágenes y texto arbitrariamente entrelazados, razonando de forma compleja sobre gráficos, diagramas, preguntas de examen y humor visual sin degradar el rendimiento en evaluaciones puramente lingüísticas.
• Dominio del preentrenamiento con postentrenamiento dirigido: El preentrenamiento del modelo base aporta el razonamiento central y el conocimiento de examen (con promedios de opción múltiple del modelo base y RLHF esencialmente iguales: 73,7% frente a 74,0%), mientras que RLHF y las verificaciones basadas en reglas orientan la seguridad, el formato y la factualidad.
• Rule-Based Reward Models (RBRMs): El alineamiento se apoya en clasificadores de seguridad asistidos por modelos que proporcionan recompensas auxiliares dirigidas durante RLHF para orientar rechazos adecuados ante peticiones no permitidas y reducir la cautela excesiva frente a peticiones seguras.

Método (con las ecuaciones clave)

GPT-4 es un modelo autorregresivo basado en Transformer preentrenado para predecir el siguiente token a partir de datos web accesibles públicamente y datos bajo licencia, seguido de Reinforcement Learning from Human Feedback (RLHF).

1. Extrapolación de leyes de escalado

Para garantizar la previsibilidad de la infraestructura sin recurrir al ajuste empírico en la ejecución principal, la pérdida final sobre tokens de código internos se predijo mediante una formulación de pérdida irreducible: $$L(C)=a{C}^b+c$$ donde $C$ denota el cómputo normalizado, y $a,b,c$ son parámetros ajustados a partir de ejecuciones con hasta $10.000\times$ menos cómputo.

Para el escalado de capacidades downstream en HumanEval, la tasa media de éxito logarítmica a través de subconjuntos de problemas $P$ se modeló mediante: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ lo que permitió registrar con anterioridad el rendimiento funcional en tareas de programación antes del preentrenamiento final.

2. Flujo de seguridad asistido por modelos

Junto con el feedback humano, la optimización mediante RLHF incorpora Rule-Based Reward Models (RBRMs). Un RBRM es un clasificador zero-shot de GPT-4 que toma:

• El prompt del usuario (opcional),
• La completación generada por el modelo de política,
• Una rúbrica redactada por humanos (una rúbrica multiclase que clasifica las respuestas en categorías como rechazo deseado, rechazo evasivo/farragoso, respuesta segura o contenido no permitido).

Los pesos óptimos del RBRM proporcionan una señal de recompensa automatizada para entrenar al modelo de política a rechazar solicitudes peligrosas (p. ej., amenazas CBRN, ciberataques) mientras atiende con fiabilidad peticiones benignas en temas sensibles afines.

Resultados (con las cifras más importantes)

• Exámenes profesionales y académicos: GPT-4 obtuvo 298/400 (percentil 90) en el Uniform Bar Examination (frente a 213/400, ~percentil 10 de GPT-3.5). En el LSAT, alcanzó 163 (percentil 88), y obtuvo un 5 en AP Biology, un 4 en AP Calculus BC, un 4 en AP Chemistry y un 5 en AP Art History.
• Puntos de referencia académicos de PLN: GPT-4 estableció nuevas marcas de vanguardia en MMLU 5-shot (86,4% frente al 70,0% de GPT-3.5), HellaSwag 10-shot (95,3%), ARC Challenge 25-shot (96,3%) y HumanEval 0-shot (67,0%). En GSM-8K con chain-of-thought 5-shot, alcanzó un 92,0%.
• Capacidad multilingüe: Las versiones traducidas de MMLU a 26 idiomas demostraron que GPT-4 superó la línea base en inglés de GPT-3.5 y PaLM en 24 idiomas, incluidos idiomas de bajos recursos como el letón (85,5%), el galés (71,4%) y el suajili (82,6%).
• Seguridad y factualidad: GPT-4 obtuvo 19 puntos porcentuales más que la última versión de GPT-3.5 en evaluaciones internas de factualidad. Las tasas de respuesta a contenido no permitido cayeron un 82%, el cumplimiento ante solicitudes sensibles mejoró un 29% y la generación de toxicidad en RealToxicityPrompts disminuyó del 6,48% (GPT-3.5) al 0,73%.

Limitaciones y preguntas abiertas

• Alucinaciones y calibración: A pesar de la reducción de errores factuales, GPT-4 todavía alucina hechos y comete fallos lógicos básicos. Si bien el modelo base preentrenado exhibe una calibración casi perfecta, el postentrenamiento con RLHF perjudica notablemente la calibración, haciendo que el modelo alineado muestre excesiva confianza en sus errores.
• Límite temporal de conocimiento: La gran mayoría de los datos de preentrenamiento concluyen en septiembre de 2021; el modelo no actualiza de forma continua su estado del mundo ni aprende a partir de las interacciones continuas durante su despliegue.
• Escalado inverso y jailbreaks: Ciertos patrones contraintuitivos solo se revierten a gran escala (p. ej., Hindsight Neglect), pero persisten vulnerabilidades ante prompting adversarial, manipulación del mensaje del sistema y jailbreaks multietapa.
• Falta de transparencia arquitectónica: Debido a consideraciones competitivas y de seguridad, no se revelan especificaciones arquitectónicas (recuento de parámetros, diseño MoE, dimensiones del dataset, hardware ni cómputo exacto).