Simulation multi-agents à très grande échelle dans AgentScope

Guide de lecture

Problème et motivation

Les agents basés sur des modèles de langage de grande taille (LLM) permettent des simulations interactives et réalistes sans programmation manuelle poussée de règles. Cependant, étendre les simulations multi-agents à des échelles démographiques réalistes met en évidence trois goulots d'étranglement critiques :

1. Limites de scalabilité et d'efficacité : L'exécution centralisée et le verrou global de l'interpréteur (GIL) de Python entravent l'exécution des agents. Les frameworks d'acteurs existants (par exemple Ray) créent un nouveau processus par acteur, gaspillant des ressources lors du traitement de millions d'agents légers limités par les entrées/sorties (I/O).
2. Distributions de population et diversité insatisfaisantes : Les agents dotés d'invites d'arrière-plan simples et identiques ont un comportement homogène et échouent à représenter des distributions démographiques réalistes (par exemple en termes d'éducation, d'âge ou de profession).
3. Gestion complexe : L'orchestration, le lancement, la surveillance et l'arrêt de centaines de milliers ou de millions d'agents répartis sur des clusters imposent une lourde charge opérationnelle.

Idées clés

• Architecture distribuée basée sur les acteurs : Les agents calculent de manière indépendante en tant qu'acteurs. La plateforme prend en charge les mappages un-à-un (un agent par processus, évitant le GIL pour les tâches lourdes en calcul) et plusieurs-à-un (les agents partagent les processus, optimisant le partage de temps des cœurs CPU pendant les attentes I/O).
• Conversion distribuée sans refactorisation (to_dist) : Les utilisateurs écrivent des workflows centralisés, qui sont convertis de manière transparente en architectures distribuées à l'aide de proxys locaux et d'espaces réservés de messages asynchrones.
• L'environnement en tant qu'agent : Les environnements sont modélisés comme des agents spécialisés prenant en charge le maintien de l'état, l'accès à haute concurrence par RPC, des déclencheurs bidirectionnels (via des écouteurs) et des structures multicouches imbriquées pour les simulations de groupe.
• Pipeline de population hétérogène configurable : Les utilisateurs définissent les distributions démographiques dans des fichiers de configuration, et un pipeline de méta-invites LLM génère des profils d'agents personnalisés et diversifiés.
• Agent-Manager : Une interface graphique web et un réseau de serveurs distants persistants pour déployer, surveiller et nettoyer les agents sur les nœuds du cluster.

Méthode

Exécution distribuée et conversion automatique

Dans AgentScope, les agents indépendants s'exécutent de façon concurrente. Lorsqu'un pipeline centralisé reçoit l'annotation .to_dist(), deux étapes interviennent :

1. Les agents distribués sont instanciés sur les workers distants ; des objets proxys légers demeurent sur l'orchestrateur central.
2. Dès réception d'un appel, les proxys renvoient immédiatement des espaces réservés de messages. Les agents en aval ne se bloquent que lorsqu'ils consultent des espaces réservés pointant vers des calculs en attente issus des agents précédents.

Dynamique de simulation

La plateforme évalue le raisonnement multi-agents sur le jeu classique consistant à « deviner les $\frac{2}{3}$ de la moyenne ». Chaque agent $i$ soumet $x_i\in [0,100]$. La valeur cible gagnante est : $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ Lors de répétitions sous l'hypothèse d'une connaissance commune de la rationalité, l'unique équilibre de Nash converge vers $0$. Dans des expériences alternatives évaluant la généralisation au-delà des données d'entraînement préalables, la règle cible a été modifiée en : $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ En posant $x^{\ast }=\bar{x}$, on obtient un équilibre de Nash non nul : $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Résultats

• Scalabilité : Une simulation de 1 000 000 d'agents a été réalisée en 12 minutes sur 4 nœuds (chacun doté de 8 GPU A100-80G, de 64 cœurs CPU et de 1 To de mémoire vive) avec Llama3-8B et des invites basiques, et en 85 minutes avec une incitation par chaîne de pensée (CoT), qui a multiplié le nombre de tokens par plus de 150. Sur un benchmark synthétique excluant la latence d'inférence LLM, 1M d'agents ont tourné en 40 secondes, contre 8,6 heures via l'I/O asynchrone Python standard et environ 12 jours en exécution séquentielle.
• Mise à l'échelle horizontale : Avec un nombre fixe de 10 000 agents par machine, le temps d'exécution global est resté constant lorsque la taille du cluster est passée de 1 à 4 nœuds.
• Prompting et profondeur de raisonnement : Avec des invites simples, la plupart des modèles ont rapporté des valeurs proches de 50 (bien que MistralAI-8x7B ait obtenu 36,63 en moyenne et MistralAI-8x22B 31,69). L'ajout d'instructions CoT a orienté les réponses vers 0 (les valeurs gagnantes de Qwen2-72B sont tombées de 33,70 à 12,76, et les moyennes de la manche 5 en multi-tours sont passées de 25,16 à 2,02).
• Démographie et rôles : Des niveaux d'éducation assignés plus élevés ont systématiquement induit des propositions plus basses et plus optimales au sens de la théorie des jeux (les agents doctorants ont proposé des nombres inférieurs à ceux des agents de niveau école primaire). Les professions telles que professeurs de théorie des jeux et économistes ont fourni les valeurs les plus faibles.
• Variantes : Lorsque l'équilibre a été déplacé à 10 ($5+\frac{1}{2}\bar{x}$), les agents ont itérativement convergé autour de 10 sur plusieurs manches.

Limites et questions ouvertes

• Incohérence du jeu de rôle dans les cas limites : Même avec pour consigne de jouer le rôle d'un enfant de 7 ans, les agents ont poursuivi des calculs arithmétiques multi-étapes et des raisonnements récursifs incompatibles avec le persona.
• Erreurs arithmétiques élémentaires : Les agents ont parfois commis des erreurs de calcul basiques (notamment sur des fractions ou des décimales), alors même que leur raisonnement stratégique était rigoureux.
• Sensibilité aux a priori d'apprentissage : Modifier le ratio cible de $\frac{2}{3}$ à $\frac{51}{100}$ a dégradé les performances en raison de schémas mémorisés issus de la théorie des jeux ; la précision n'a été restaurée que lorsque les invites ont explicitement précisé que le jeu était une variante de « deviner les $\frac{2}{3}$ de la moyenne ».