GPT-4 Technical Report

Guia de leitura

Problema e motivação

Os modelos de linguagem grandes (LLMs) mostraram-se promissores no processamento de linguagem natural, mas iterações anteriores (como o GPT-3.5) exibiam fraquezas notáveis em raciocínio complexo, confiabilidade, precisão factual e segurança. Além disso, o treinamento de modelos de fronteira muito grandes exige orçamentos computacionais enormes, nos quais o ajuste padrão de hiperparâmetros na escala final é inviável. O objetivo do GPT-4 é construir um modelo multimodal em larga escala capaz de processar combinações arbitrárias de entradas de imagem e texto, mantendo um comportamento de escalonamento previsível e alcançando segurança e alinhamento drasticamente aprimorados.

Ideias centrais

• Escalonamento Previsível (Predictable Scaling): Os pipelines de otimização e as arquiteturas podem ser estabilizados de modo que a perda final de teste e os benchmarks posteriores de código (como as taxas de aprovação do HumanEval) sejam extrapolados com confiabilidade a partir de modelos menores treinados com $1.000\times$ a $10.000\times$ menos computação.
• Compreensão Multimodal: O GPT-4 aceita imagens e textos intercalados arbitrariamente, realizando raciocínio complexo sobre gráficos, diagramas, questões de exames e humor visual sem degradar os benchmarks puramente linguísticos.
• Predominância do Pré-treinamento com Pós-treinamento Direcionado: O pré-treinamento do modelo base fornece o raciocínio central e o conhecimento de exames (com as médias de múltipla escolha da base e do RLHF essencialmente iguais, em 73,7% vs. 74,0%), enquanto o RLHF e as checagens baseadas em regras direcionam a segurança, a formatação e a factualidade.
• Modelos de Recompensa Baseados em Regras (RBRMs): O alinhamento depende de classificadores de segurança assistidos pelo próprio modelo, que fornecem recompensas auxiliares direcionadas durante o RLHF para orientar recusas apropriadas a prompts não permitidos e reduzir a cautela excessiva (over-hedging) em prompts seguros.

Método (com as equações principais)

O GPT-4 é um modelo autorregressivo baseado em Transformer pré-treinado para prever o próximo token a partir de dados disponíveis publicamente na web e dados licenciados, seguido por Aprendizado por Reforço com Feedback Humano (RLHF).

1. Extrapolação por Leis de Escalonamento

Para garantir a previsibilidade da infraestrutura sem necessidade de ajustes empíricos na execução principal, a perda final em tokens internos de código foi prevista usando uma formulação de perda irredutível: $$L(C)=a{C}^b+c$$ onde $C$ denota a computação normalizada e $a,b,c$ são parâmetros ajustados a partir de execuções que utilizaram até $10.000\times$ menos computação.

Para o escalonamento das capacidades posteriores no HumanEval, a taxa média de aprovação em escala logarítmica entre os subconjuntos de problemas $P$ foi modelada via: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ permitindo o registro prévio, durante o pré-treinamento, do desempenho funcional em programação.

2. Pipeline de Segurança Assistido por Modelo

Junto ao feedback humano, a otimização de RLHF incorpora Rule-Based Reward Models (RBRMs). Um RBRM é um classificador GPT-4 em configuração zero-shot que aceita:

• O prompt do usuário (opcional),
• A resposta gerada pelo modelo de política,
• Uma rubrica criada por humanos (uma rubrica de múltiplas classes que classifica as respostas em categorias como recusa desejada, recusa evasiva/prolixa, resposta segura ou conteúdo não permitido).

Pesos ótimos de RBRM fornecem um sinal de recompensa automatizado para treinar o modelo de política a recusar solicitações prejudiciais (por exemplo, ameaças QBRN, ataques cibernéticos), ao mesmo tempo em que atende com confiabilidade a solicitações benignas em tópicos sensíveis correlatos.

Resultados (com os números mais importantes)

• Exames Profissionais e Acadêmicos: O GPT-4 obteve 298/400 (percentil 90) no Uniform Bar Examination (em comparação com 213/400, ~percentil 10 do GPT-3.5). No LSAT, alcançou 163 (percentil 88) e obteve nota 5 no AP Biology, 4 no AP Calculus BC, 4 no AP Chemistry e 5 no AP Art History.
• Benchmarks Acadêmicos de PLN: O GPT-4 estabeleceu novos marcos de estado da arte no MMLU 5-shot (86,4% vs. 70,0% do GPT-3.5), HellaSwag 10-shot (95,3%), ARC Challenge 25-shot (96,3%) e HumanEval 0-shot (67,0%). No GSM-8K com chain-of-thought 5-shot, alcançou 92,0%.
• Capacidade Multilíngue: Versões traduzidas do MMLU em 26 idiomas mostraram o GPT-4 superando a linha de base em inglês do GPT-3.5 e do PaLM em 24 idiomas, incluindo idiomas com menos recursos como letão (85,5%), galês (71,4%) e suaíli (82,6%).
• Segurança e Factualidade: O GPT-4 pontuou 19 pontos percentuais a mais que o GPT-3.5 mais recente em avaliações internas de factualidade. As taxas de respostas não permitidas caíram 82%, a adesão a solicitações sensíveis melhorou em 29% e a geração de toxicidade no RealToxicityPrompts caiu de 6,48% (GPT-3.5) para 0,73%.

Limitações e perguntas em aberto

• Alucinações e Calibração: Apesar das reduções nos erros factuais, o GPT-4 ainda alucina fatos e comete falhas básicas de raciocínio. Embora o modelo base pré-treinado exiba uma calibração quase perfeita, o pós-treinamento com RLHF prejudica significativamente a calibração, tornando o modelo alinhado incorreto com alta confiança.
• Ponto de Corte Temporal do Conhecimento: A grande maioria dos dados de pré-treinamento foi interrompida em setembro de 2021; o modelo não atualiza continuamente seu estado de conhecimento do mundo nem aprende com interações contínuas em produção.
• Escalonamento Inverso e Jailbreaks: Certos padrões contraintuitivos revertem-se apenas em escala (por exemplo, o Hindsight Neglect), mas vulnerabilidades a prompts adversariais, manipulação de mensagens de sistema e jailbreaks em múltiplas etapas persistem.
• Falta de Transparência Arquitetural: Devido a preocupações competitivas e de segurança, especificações de arquitetura (contagem de parâmetros, design de MoE, tamanhos de dataset, hardware e computação exata) não são divulgadas.