Very Large-Scale Multi-Agent Simulation in AgentScope

Leseleitfaden

Problem und Motivation

Agenten auf Basis großer Sprachmodelle (LLMs) ermöglichen interaktive und realistische Simulationen ohne aufwendige manuelle Regelprogrammierung. Die Skalierung von Multi-Agenten-Simulationen auf realistische demografische Größenordnungen offenbart jedoch drei kritische Engpässe:

1. Grenzen der Skalierbarkeit und Effizienz: Eine zentralisierte Ausführung und das Global Interpreter Lock (GIL) von Python behindern die Ausführung der Agenten. Bestehende Actor-Frameworks (z. B. Ray) starten pro Actor einen neuen Prozess, was beim Verwalten von Millionen leichtgewichtiger, I/O-gebundener Agenten Ressourcen verschwendet.
2. Unzureichende Populationsverteilungen und Agentendiversität: Agenten mit einfachen, identischen Hintergrund-Prompts verhalten sich homogen und spiegeln keine realistischen demografischen Verteilungen wider (z. B. hinsichtlich Bildung, Alter oder Beruf).
3. Schwieriges Management: Die Orchestrierung, das Starten, Überwachen und Beenden von Hunderttausenden oder Millionen von Agenten, die über Cluster verteilt sind, erfordert einen erheblichen Betriebsaufwand.

Kernideen

• Actor-basierte verteilte Architektur: Agenten rechnen unabhängig als Actors. Die Plattform unterstützt sowohl Eins-zu-Eins-Zuordnungen (ein Agent pro Prozess, wodurch das GIL für rechenintensive Aufgaben umgangen wird) als auch Viele-zu-Eins-Zuordnungen (mehrere Agenten teilen sich Prozesse, wodurch das Time-Sharing der CPU-Kerne während I/O-Wartezeiten maximiert wird).
• Verteilte Konvertierung ohne Refaktorisierung (to_dist): Benutzer verfassen zentralisierte Workflows, die mithilfe lokaler Proxys und asynchroner Nachrichten-Platzhalter transparent in verteilte Setups umgewandelt werden.
• Umgebung als Agent: Umgebungen werden als spezialisierte Agenten modelliert, die Zustandshaltung, hochparallelen Zugriff via RPC, bidirektionale Trigger (über Listener) und verschachtelte mehrschichtige Strukturen für Simulationen auf Gruppenebene unterstützen.
• Konfigurierbare Pipeline für heterogene Populationen: Benutzer definieren demografische Verteilungen in Konfigurationsdateien, und eine LLM-Meta-Prompt-Pipeline generiert vielfältige, individualisierte Agenten-Personas.
• Agent-Manager: Eine webbasierte grafische Oberfläche und ein persistentes Remote-Server-Netzwerk zum Bereitstellen, Überwachen und Bereinigen von Agenten über Clusterknoten hinweg.

Methode

Verteilte Ausführung & automatische Konvertierung

In AgentScope werden unabhängige Agenten nebenläufig ausgeführt. Wenn eine zentralisierte Pipeline mit .to_dist() versehen wird, laufen zwei Phasen ab:

1. Verteilte Agenten werden über Remote-Worker hinweg instanziiert; leichtgewichtige Proxy-Objekte verbleiben auf dem zentralen Orchestrator.
2. Proxys geben beim Empfang eines Aufrufs sofort Nachrichten-Platzhalter zurück. Nachgelagerte Agenten blockieren erst dann, wenn sie Platzhalter abfragen, die auf noch ausstehende Berechnungen vorangegangener Agenten verweisen.

Simulationsdynamik

Die Plattform evaluiert das Schließen von Multi-Agenten-Systemen anhand des klassischen Spiels „Errate $\frac{2}{3}$ des Durchschnitts“. Jeder Agent $i$ gibt eine Zahl $x_i\in [0,100]$ ab. Das Gewinnziel lautet: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ Bei wiederholter Ausführung unter der Annahme gemeinsamer Rationalität konvergiert das eindeutige Nash-Gleichgewicht gegen $0$. In alternativen Experimenten, die die Generalisierung über vorherige Trainingsdaten hinaus testen, wurde die Zielregel wie folgt angepasst: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ Das Setzen von $x^{\ast }=\bar{x}$ ergibt ein von Null verschiedenes Nash-Gleichgewicht: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Ergebnisse

• Skalierbarkeit: Eine Simulation mit 1.000.000 Agenten wurde in 12 Minuten auf 4 Knoten (jeweils mit 8 $\times$ A100-80G GPUs, 64 CPU-Kernen, 1 TB RAM) unter Verwendung von Llama3-8B mit Basis-Prompts abgeschlossen, und in 85 Minuten mit Chain-of-Thought (CoT)-Prompting (was die Token-Zahl um mehr als das 150-Fache erhöhte). In einem Dummy-Rechenbenchmark ohne LLM-Inferenzlatenz liefen 1 Mio. Agenten in 40 Sekunden, verglichen mit 8,6 Stunden über standardmäßiges asynchrones Python-I/O und ~12 Tagen bei serieller Ausführung.
• Horizontale Skalierung: Bei konstanten 10.000 Agenten pro Gerät blieb die Gesamtlaufzeit konstant, als die Clustergröße von 1 auf 4 Knoten erhöht wurde.
• Prompting & Argumentationstiefe: Unter Basis-Prompting gaben die meisten Modelle Werte um 50 an (wobei MistralAI-8x7B durchschnittlich 36,63 und MistralAI-8x22B durchschnittlich 31,69 erreichten). Das Hinzufügen von CoT-Anweisungen verschob die Werte in Richtung 0 (die Gewinnzahlen von Qwen2-72B fielen von 33,70 auf 12,76, und die Durchschnitte in Runde 5 bei mehreren Runden sanken von 25,16 auf 2,02).
• Demografie & Rollen: Höhere zugewiesene Bildungsniveaus führten systematisch zu niedrigeren, spieltheoretisch optimaleren Schätzungen (Agenten mit Doktortitel nannten niedrigere Zahlen als Agenten mit Grundschulbildung). Berufe wie Spieltheorie-Professoren und Wirtschaftswissenschaftler nannten die niedrigsten Zahlen.
• Varianten: Wenn das Gleichgewicht auf 10 verschoben wurde ($5+\frac{1}{2}\bar{x}$), konvergierten die Agenten über mehrere Runden hinweg iterativ um 10.

Grenzen und offene Fragen

• Inkonsistenz beim Rollenspiel in Grenzfällen: Wenn Agenten angewiesen wurden, sich wie ein 7-jähriges Kind zu verhalten, führten sie dennoch mehrschrittige Arithmetik und rekursive Schlussfolgerungen durch, die der Persona widersprachen.
• Einfache Rechenfehler: Agenten machten gelegentlich grundlegende Rechenfehler (insbesondere bei Brüchen oder Dezimalzahlen), selbst wenn ihre strategische Argumentationslogik fehlerfrei war.
• Sensitivität gegenüber Trainings-Priors: Das Ändern des Zielverhältnisses von $\frac{2}{3}$ auf $\frac{51}{100}$ verschlechterte die Leistung, da sich die Modelle auf auswendig gelernte spieltheoretische Muster stützten; die Leistung erholte sich erst, wenn in den Prompts explizit angegeben wurde, dass das Spiel eine Variante von „Errate $\frac{2}{3}$ des Durchschnitts“ war.