GPT-4 Technical Report

Guide de lecture

Problème et motivation

Les grands modèles de langage (LLMs) ont montré un potentiel prometteur dans l'ensemble du traitement automatique du langage naturel, mais les itérations précédentes (telles que GPT-3.5) présentaient des faiblesses notables en matière de raisonnement complexe, de fiabilité, de précision factuelle et de sécurité. De plus, l'entraînement de très grands modèles de pointe nécessite des budgets de calcul colossaux, ce qui rend impossible l'ajustement classique des hyperparamètres à l'échelle finale. L'objectif de GPT-4 est de construire un modèle multimodal à grande échelle capable de traiter des mélanges arbitraires d'images et de textes, tout en maintenant un comportement de scaling prévisible et une sécurité ainsi qu'un alignement considérablement améliorés.

Idées clés

• Scaling prévisible (Predictable Scaling) : Les pipelines d'optimisation et les architectures peuvent être stabilisés de manière à ce que la perte finale de test et les benchmarks de programmation en aval (comme les taux de réussite sur HumanEval) soient extrapolés de manière fiable à partir de modèles plus petits entraînés avec $1000\times$ à $10000\times$ moins de calcul.
• Compréhension multimodale : GPT-4 accepte des images et des textes entrelacés de manière arbitraire, effectuant des raisonnements complexes sur des graphiques, des diagrammes, des questions d'examen et de l'humour visuel sans dégrader les benchmarks purement linguistiques.
• Prédominance du pré-entraînement avec post-entraînement ciblé : Le pré-entraînement du modèle de base apporte le raisonnement fondamental et les connaissances requises pour les examens (les moyennes aux questions à choix multiples du modèle de base et de celui issu de RLHF étant quasi identiques, à 73,7 % contre 74,0 %), tandis que RLHF et les vérifications fondées sur des règles orientent la sécurité, le formatage et la factualité.
• Modèles de récompense fondés sur des règles (RBRMs) : L'alignement repose sur des classificateurs de sécurité assistés par le modèle, fournissant des récompenses auxiliaires ciblées pendant RLHF pour guider des refus appropriés face aux requêtes interdites et limiter l'excès de prudence sur les invites inoffensives.

Méthode (avec les équations clés)

GPT-4 est un modèle autorégressif basé sur l'architecture Transformer, pré-entraîné pour prédire le token suivant sur des données web publiquement accessibles et des données sous licence, suivi d'un apprentissage par renforcement avec rétroaction humaine (RLHF).

1. Extrapolation des lois d'échelle

Pour garantir la prévisibilité de l'infrastructure sans réglage empirique sur l'exécution principale, la perte finale sur les tokens de code internes a été prédite à l'aide d'une formulation de perte irréductible : $$L(C)=a{C}^b+c$$ où $C$ représente le calcul normalisé, et $a,b,c$ sont des paramètres ajustés à partir d'exécutions utilisant jusqu'à $10000\times$ moins de calcul.

Pour le scaling des capacités fonctionnelles sur HumanEval, le taux de réussite moyen logarithmique sur des sous-ensembles de problèmes $P$ a été modélisé par : $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ permettant d'enregistrer et de prédire dès le pré-entraînement les performances fonctionnelles en programmation.

2. Pipeline de sécurité assisté par modèle

En parallèle du retour humain, l'optimisation par RLHF intègre des Rule-Based Reward Models (RBRMs). Un RBRM est un classificateur GPT-4 zero-shot qui accepte :

• L'invite de l'utilisateur (facultative),
• La complétion générée par le modèle sous politique (policy model),
• Une grille d'évaluation rédigée par des humains (une grille multiclasse catégorisant les réponses, par exemple : refus souhaité, refus évasif/verbeux, réponse sûre ou contenu interdit).

Des poids optimaux de RBRM fournissent un signal de récompense automatisé pour entraîner le modèle à refuser les requêtes dangereuses (ex. menaces CBRN, cyberattaques) tout en répondant de manière fiable aux demandes bénignes sur des sujets sensibles connexes.

Résultats (avec les chiffres les plus importants)

• Examens professionnels et académiques : GPT-4 a obtenu 298/400 (90e centile) à l'Uniform Bar Examination (contre 213/400, ~10e centile pour GPT-3.5). Au LSAT, il a obtenu 163 (88e centile), et a décroché un 5 aux examens AP Biology et AP Art History, ainsi qu'un 4 en AP Calculus BC et AP Chemistry.
• Benchmarks de TAL académiques : GPT-4 a établi de nouveaux records de l'état de l'art sur MMLU en 5-shot (86,4 % contre 70,0 % pour GPT-3.5), HellaSwag en 10-shot (95,3 %), ARC Challenge en 25-shot (96,3 %) et HumanEval en 0-shot (67,0 %). Sur GSM-8K avec chaîne de pensée (chain-of-thought) en 5-shot, il a atteint 92,0 %.
• Capacités multilingues : Les versions traduites de MMLU dans 26 langues ont montré que GPT-4 surpassait la référence anglophone de GPT-3.5 et PaLM dans 24 langues, y compris pour des langues à faibles ressources comme le letton (85,5 %), le gallois (71,4 %) et le swahili (82,6 %).
• Sécurité et factualité : GPT-4 a obtenu 19 points de pourcentage de plus que la dernière version de GPT-3.5 sur les évaluations internes de factualité. Le taux de réponses non autorisées a chuté de 82 %, le respect des consignes sur les requêtes sensibles a progressé de 29 %, et la génération de toxicité sur RealToxicityPrompts est passée de 6,48 % (GPT-3.5) à 0,73 %.

Limites et questions ouvertes

• Hallucinations et calibration : Malgré la réduction des erreurs factuelles, GPT-4 hallucine encore des faits et commet des erreurs de raisonnement basiques. Alors que le modèle de base pré-entraîné présente une calibration quasi parfaite, le post-entraînement par RLHF dégrade fortement cette calibration, rendant le modèle aligné incorrect avec une grande assurance.
• Date limite des connaissances temporelles : La grande majorité des données de pré-entraînement s'arrête en septembre 2021 ; le modèle ne met pas à jour son état du monde en continu et n'apprend pas des interactions de déploiement en cours.
• Scaling inverse (Inverse Scaling) et jailbreaks : Certains schémas contre-intuitifs ne s'inversent qu'à grande échelle (ex. Hindsight Neglect), mais des vulnérabilités aux invites contradictoires (adversarial prompting), à la manipulation des messages système et aux jailbreaks en plusieurs étapes persistent.
• Manque de transparence architecturale : En raison du contexte concurrentiel et des enjeux de sécurité, les spécifications architecturales (nombre de paramètres, conception MoE, taille des jeux de données, matériel et calcul exact) ne sont pas divulguées.