Simulación multiagente a muy gran escala en AgentScope

Guía de lectura

Problema y motivación

Los agentes basados en modelos de lenguaje grande (LLM) permiten simulaciones interactivas y realistas sin necesidad de una programación manual exhaustiva de reglas. Sin embargo, escalar las simulaciones multiagente a tamaños demográficos realistas revela tres cuellos de botella críticos:

1. Límites de escalabilidad y eficiencia: La ejecución centralizada y el Global Interpreter Lock (GIL) de Python obstaculizan la ejecución de agentes. Los marcos de trabajo de actores existentes (p. ej., Ray) crean un nuevo proceso por actor, desperdiciando recursos al manejar millones de agentes ligeros limitados por I/O.
2. Distribuciones poblacionales insatisfactorias y diversidad de agentes: Los agentes con prompts de trasfondo simples e idénticos se comportan de manera homogénea, sin lograr representar distribuciones demográficas realistas (p. ej., por educación, edad u ocupación).
3. Gestión compleja: Orquestar, lanzar, monitorizar y finalizar cientos de miles o millones de agentes distribuidos en clústeres requiere una sobrecarga operativa sustancial.

Ideas clave

• Arquitectura distribuida basada en actores: Los agentes computan de forma independiente como actores. La plataforma admite asignaciones tanto uno a uno (un agente por proceso, evitando el GIL para tareas de cómputo intensivo) como muchos a uno (los agentes comparten procesos, maximizando la multiplexación en núcleos de CPU durante las esperas de I/O).
• Conversión distribuida sin refactorización (to_dist): Los usuarios diseñan flujos de trabajo centralizados, que se transforman de manera transparente en configuraciones distribuidas utilizando proxies locales y marcadores de posición asíncronos para mensajes.
• El entorno como un agente: Los entornos se modelan como agentes especializados que admiten mantenimiento de estado, acceso de alta concurrencia mediante RPC, activadores bidireccionales (mediante listeners) y estructuras multicapa anidadas para simulaciones a nivel de grupo.
• Pipeline de población heterogénea configurable: Los usuarios definen distribuciones demográficas en archivos de configuración, y un pipeline de metaprompts con LLM genera perfiles de agentes diversos e individualizados.
• Agent-Manager: Una interfaz gráfica web y una red de servidores remotos persistentes para desplegar, monitorizar y limpiar agentes en los nodos del clúster.

Método

Ejecución distribuida y conversión automática

En AgentScope, los agentes independientes se ejecutan de forma concurrente. Cuando un pipeline centralizado se etiqueta con .to_dist(), ocurren dos fases:

1. Los agentes distribuidos se instancian a lo largo de los workers remotos; en el orquestador central solo quedan objetos proxy ligeros.
2. Los proxies devuelven marcadores de posición de mensajes inmediatamente al recibir una llamada. Los agentes posteriores solo se bloquean cuando inspeccionan marcadores de posición que apuntan a cómputos pendientes de agentes anteriores.

Dinámica de la simulación

La plataforma evalúa el razonamiento multiagente en el clásico juego de «adivinar los $\frac{2}{3}$ del promedio». Cada agente $i$ envía $x_i\in [0,100]$. El objetivo ganador es: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ Cuando se itera bajo conocimiento común de racionalidad, el equilibrio de Nash único converge a $0$. En experimentos alternativos para evaluar la generalización más allá de los datos de entrenamiento previos, la regla objetivo se ajustó a: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ Al establecer $x^{\ast }=\bar{x}$ se obtiene un equilibrio de Nash distinto de cero: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Resultados

• Escalabilidad: Una simulación de 1.000.000 de agentes se completó en 12 minutos utilizando 4 nodos (cada uno con 8 GPUs $\times$ A100-80G, 64 núcleos de CPU, 1 TB de RAM) empleando Llama3-8B con prompts básicos, y en 85 minutos con prompting de cadena de pensamiento (Chain-of-Thought, CoT), el cual incrementó el conteo de tokens en más de 150 veces. En un benchmark con cómputo ficticio que eliminaba la latencia de inferencia del LLM, 1M de agentes se ejecutaron en 40 segundos, en comparación con las 8,6 horas mediante I/O asíncrono estándar en Python y los ~12 días mediante ejecución serial.
• Escalabilidad horizontal: Con un valor fijo de 10.000 agentes por dispositivo, el tiempo total de ejecución se mantuvo constante a medida que el tamaño del clúster aumentaba de 1 a 4 nodos.
• Prompting y profundidad de razonamiento: Bajo prompting básico, la mayoría de los modelos reportaron alrededor de 50 (aunque MistralAI-8x7B promedió 36,63 y MistralAI-8x22B promedió 31,69). Añadir instrucciones de CoT empujó las respuestas hacia 0 (los números ganadores de Qwen2-72B cayeron de 33,70 a 12,76, y los promedios en la ronda 5 de múltiples rondas disminuyeron de 25,16 a 2,02).
• Demografía y roles: Niveles educativos asignados más altos produjeron sistemáticamente estimaciones más bajas y más óptimas según la teoría de juegos (los agentes con Ph.D. reportaron números menores que los agentes de escuela primaria). Ocupaciones como profesores de teoría de juegos y economistas reportaron las cifras más bajas.
• Variantes: Cuando el equilibrio se desplazó a 10 ($5+\frac{1}{2}\bar{x}$), los agentes convergieron iterativamente alrededor de 10 a lo largo de múltiples rondas.

Limitaciones y preguntas abiertas

• Inconsistencia en la interpretación de roles en casos límite: Cuando se les indicó que actuaran como niños de 7 años, los agentes continuaron ejecutando operaciones aritméticas de múltiples pasos y razonamientos recursivos que contradecían su perfil asignado.
• Errores aritméticos simples: En ocasiones, los agentes cometieron fallos básicos de cálculo (especialmente con fracciones o decimales), incluso cuando su lógica de razonamiento estratégico era sólida.
• Sensibilidad a los sesgos de entrenamiento previo: Modificar la proporción objetivo de $\frac{2}{3}$ a $\frac{51}{100}$ degradó el rendimiento debido a que los modelos dependían de patrones memorizados de teoría de juegos; el rendimiento solo se recuperó cuando los prompts indicaron explícitamente que el juego era una variante de «adivinar los $\frac{2}{3}$ del promedio».