Масштабное мультиагентное моделирование в AgentScope

Разбор статьи

Проблема и мотивация

Агенты на базе больших языковых моделей (LLM) обеспечивают интерактивную и реалистичную симуляцию без необходимости вручную программировать сложные правила. Однако масштабирование таких систем до реалистичных демографических объемов выявило три фундаментальных узких места:

1. Ограничения масштабируемости и эффективности: централизованное исполнение и Python Global Interpreter Lock (GIL) сдерживают параллелизм. Существующие акторные фреймворки (например, Ray) выделяют отдельный процесс на каждого актора, что приводит к перерасходу ресурсов при обработке миллионов легковесных агентов, ограниченных операциями ввода-вывода (I/O-bound).
2. Недостаточное разнообразие популяции агентов: агенты с простыми однотипными вводными промптами действуют шаблонно и не способны воспроизвести реальные демографические распределения (по уровню образования, возрасту или профессии).
3. Сложность управления: оркестрация, запуск, мониторинг и корректное завершение сотен тысяч или миллионов агентов, распределенных по вычислительному кластеру, требуют огромных эксплуатационных затрат.

Ключевые идеи

• Распределенная архитектура на базе модели акторов: агенты выполняют вычисления независимо как акторы. Платформа поддерживает схему «один к одному» (один процесс на агента, исключает влияние GIL для вычислительно тяжелых задач) и «многие к одному» (агенты делят общие процессы, максимизируя разделение времени ядер CPU во время ожидания ввода-вывода).
• Распределенная конверсия без рефакторинга (to_dist): пользователи описывают централизованный рабочий процесс, который прозрачно преобразуется в распределенную конфигурацию с помощью локальных прокси и асинхронных заполнителей (placeholders).
• Окружение как агент: виртуальная среда моделируется как специализированный агент, поддерживающий хранение состояния, высококонкурентный доступ через RPC, двунаправленные триггеры (через слушатели событий) и вложенные многоуровневые структуры для моделирования на уровне групп.
• Конфигурируемый пайплайн гетерогенной популяции: пользователь задает демографические распределения в конфигурационном файле, а конвейер мета-промптов на базе LLM автоматически генерирует уникальные профили и биографии агентов.
• Agent-Manager: веб-интерфейс и инфраструктура постоянных демонов на узлах кластера для развертывания, мониторинга и очистки ресурсов агентов.

Метод

Распределенное исполнение и автоконверсия

В AgentScope независимые агенты работают параллельно. При вызове метода .to_dist() для централизованного пайплайна выполняются два этапа:

1. Распределенные агенты запускаются на удаленных воркерах; легковесные прокси-объекты остаются на центральном оркестраторе.
2. При вызове прокси мгновенно возвращают заполнители сообщений (placeholders). Выполнение последующих агентов блокируется только тогда, когда им требуется прочитать конкретный заполнитель, ожидающий завершения вычислений на предыдущем шаге.

Динамика симуляции

Когнитивные способности и рассуждения агентов тестировались на классической теоретико-игровой задаче «Угадай $\frac{2}{3}$ от среднего». Каждый агент $i$ выбирает число $x_i\in [0,100]$. Победным значением является: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ При итеративной игре в условиях общего знания о рациональности игроков единственное равновесие Нэша стремится к $0$. Для проверки устойчивости моделей к отклонениям от обучающей выборки целевое правило было изменено на: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ Приравнивание $x^{\ast }=\bar{x}$ дает ненулевое равновесие Нэша: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Результаты

• Масштабируемость: симуляция 1 000 000 агентов завершилась за 12 минут на 4 узлах (каждый оснащен 8 $\times$ GPU A100-80G, 64 ядрами CPU, 1 ТБ RAM) с моделью Llama3-8B при базовых промптах и за 85 минут с использованием Chain-of-Thought (CoT), что увеличило число токенов более чем в 150 раз. В синтетическом бенчмарке без задержек инференса LLM 1 млн агентов отработал за 40 секунд (по сравнению с 8,6 часа на стандартном асинхронном Python I/O и ~12 днями при последовательном запуске).
• Горизонтальное масштабирование: при фиксированной нагрузке в 10 000 агентов на узел общее время выполнения оставалось постоянным при расширении кластера с 1 до 4 узлов.
• Промптинг и глубина рассуждений: при базовых промптах ответы большинства моделей концентрировались около 50 (хотя MistralAI-8x7B в среднем выдавала 36.63, а MistralAI-8x22B — 31.69). Добавление инструкций CoT сместило ответы ближе к 0 (у Qwen2-72B победные числа снизились с 33.70 до 12.76, а в пятом раунде многораундовой игры средние значения упали с 25.16 до 2.02).
• Демография и роли: агенты с более высоким уровнем образования систематически выбирали более низкие, близкие к теоретическому оптимуму числа (агенты с Ph.D. называли меньшие значения, чем агенты со школьным образованием). Профессии вроде «профессор теории игр» или «экономист» приводили к наименьшим числам.
• Модифицированные правила: при смещении точки равновесия к 10 ($5+\frac{1}{2}\bar{x}$) агенты итеративно сходились к 10 за несколько раундов.

Ограничения и открытые вопросы

• Несоответствие роли в крайних случаях: если агенту задавалась роль 7-летнего ребенка, он все равно порой использовал сложные многошаговые вычисления и рекурсивные рассуждения, что противоречило профилю.
• Арифметические ошибки: агенты периодически допускали тривиальные вычислительные ошибки (особенно с дробями и десятичными числами), даже когда общая стратегическая логика рассуждения была безупречной.
• Чувствительность к заученным паттернам: замена коэффициента $\frac{2}{3}$ на $\frac{51}{100}$ приводила к ухудшению качества решений, так как модели опирались на память об оригинальной задаче; точность восстанавливалась только тогда, когда в промпте прямо указывалось, что игра является вариацией исходного теста.