Le prompt de chaîne de pensée suscite le raisonnement dans les grands modèles de langage

Guide de lecture

Problème et motivation

Le few-shot prompting standard fournit aux modèles de langage des exemples d'entrée-sortie, permettant de solides performances sur de nombreuses tâches de questions-réponses directes. Cependant, sur les tâches de raisonnement en plusieurs étapes — comme l'arithmétique de l'école primaire, les questions de bon sens à sauts multiples et les manipulations symboliques —, le simple fait d'augmenter la taille du modèle sous prompting standard produit souvent des courbes de mise à l'échelle plates et de faibles performances. Les approches antérieures qui tentaient de résoudre des problèmes en plusieurs étapes reposaient soit sur l'entraînement ou le fine-tuning de modèles de justification spécialisés (nécessitant de grandes quantités de données annotées coûteuses), soit sur des représentations neuro-symboliques formelles. Cet article examine si les modèles de langage généralistes peuvent exécuter un raisonnement en plusieurs étapes entièrement en contexte, sans aucune mise à jour de leurs paramètres.

Idées clés

• Décomposition en chaîne de pensée : Les humains décomposent les problèmes complexes en étapes de raisonnement séquentielles avant d'énoncer une réponse. Les modèles de langage peuvent imiter ce comportement lorsqu'ils sont guidés par des démonstrations en contexte structurées sous forme de triplets : $⟨\text{entreˊe},\text{chaıˆne de penseˊe},\text{sortie}⟩$.
• Émergence à l'échelle : Le prompt de chaîne de pensée (chain-of-thought prompting, ou CoT) n'apporte pas d'améliorations significatives — et dégrade souvent les performances — pour les petits modèles ($<10\text{B}$ de paramètres). Il n'émerge en tant que capacité efficace que dans les modèles d'environ $100\text{B}$ de paramètres ou plus.
• Calcul intermédiaire variable : La génération de tokens en langage naturel permet au modèle d'allouer dynamiquement du calcul supplémentaire (via la génération autorégressive de tokens) aux problèmes complexes nécessitant plusieurs étapes, ce que la prédiction directe de réponse ne permet pas.

Méthode (avec les équations clés)

La méthode modifie le paradigme du few-shot prompting. Plutôt que de formuler le prompt avec des paires entrée-sortie $(x_i,y_i)$ : $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ où le modèle calcule directement $P(y\mid x,{\mathcal{P}}_{\text{standard}})$, le prompt de chaîne de pensée insère une chaîne de raisonnement en langage naturel $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ avant la réponse finale : $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ Au moment de l'inférence pour une entrée de test $x$, le modèle génère de manière autorégressive à la fois la chaîne de raisonnement et la réponse : $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Pour les benchmarks arithmétiques, les auteurs évaluent également une extension avec calculateur externe post-hoc : les équations mathématiques générées dans $c$ sont évaluées à l'aide de la fonction eval de Python, propageant les résultats vers l'aval par correspondance de chaînes pour éviter les erreurs de calcul arithmétique.

Résultats (avec les chiffres les plus importants)

• Raisonnement arithmétique (GSM8K) : Sur GSM8K, le prompting standard sur PaLM 540B atteint 17,9 %, tandis que le prompting CoT à 8 exemples atteint 56,9 % (et 58,6 % avec un calculateur externe), surpassant le précédent record supervisé de 55 % obtenu par GPT-3 175B affiné avec un vérificateur. Codex atteint quant à lui 63,1 % (65,4 % avec calculateur).
• Autres benchmarks mathématiques : PaLM 540B atteint 79,0 % sur SVAMP (contre 69,4 % en standard), 73,9 % sur ASDiv (contre 72,1 % en standard), 35,8 % sur AQuA (contre 25,2 % en standard) et 93,3 % sur MAWPS (contre 79,2 % en standard).
• Raisonnement de bon sens : PaLM 540B CoT établit un nouvel état de l'art sur StrategyQA à 75,6 % (contre 68,6 % en standard et 69,4 % pour le meilleur résultat supervisé antérieur) et surpasse les amateurs de sport humains sur Sports Understanding (95,4 % contre 84,0 %).
• Manipulation symbolique et généralisation de la longueur : Sur la concaténation de la dernière lettre, PaLM 540B passe de 7,6 % (standard) à 99,4 % (CoT) dans le domaine (2 mots). Lorsqu'il est testé hors domaine sur 4 mots, le prompting standard chute à 0,0 %, tandis que le CoT conserve une précision de 63,0 %.
• Ablations : Les ablations sur LaMDA 137B confirment que le prompting par « équation seule » (5,4 % sur GSM8K), le « calcul variable seul » via des points (6,4 %) et le « raisonnement après la réponse » (6,1 %) ne parviennent pas à égaler le prompting CoT standard (14,3 %), démontrant que les étapes intermédiaires en langage naturel préalables à la réponse sont essentielles.

Limites et questions ouvertes

• Aucune garantie d'exactitude factuelle : Les chaînes générées peuvent être infidèles, sémantiquement défectueuses ou hallucinées, aboutissant parfois à la bonne réponse par pure coïncidence (en particulier dans les formats binaires ou à choix multiples).
• Contrainte d'échelle du modèle : La technique est coûteuse à déployer en production car elle nécessite des modèles d'au moins $\sim 100\text{B}$ de paramètres pour fonctionner de manière fiable.
• La question ouverte du raisonnement réel : L'article souligne que le fait d'imiter les justifications humaines ne prouve pas que les représentations neuronales sous-jacentes exécutent un raisonnement formel au sens strict.