AgentScope 기반의 초거대 규모 멀티 에이전트 시뮬레이션

논문 해설

문제 및 연구 배경

대형 언어 모델(LLM) 에이전트는 광범위한 수동 규칙 프로그래밍 없이도 상호작용적이고 현실적인 시뮬레이션을 가능하게 합니다. 그러나 멀티 에이전트 시뮬레이션을 현실적인 인구 통계학적 규모로 확장할 때 세 가지 치명적인 병목 현상이 발생합니다:

1. 확장성 및 효율성의 한계: 중앙 집중식 실행 방식과 Python의 GIL(Global Interpreter Lock)은 에이전트 실행을 저해합니다. 기존 액터 프레임워크(예: Ray)는 액터마다 새 프로세스를 생성하므로, 수백만 개의 경량화된 I/O 바운드 에이전트를 처리할 때 자원을 낭비합니다.
2. 불만족스러운 인구 분포 및 에이전트 다양성: 단순하고 동일한 배경 프롬프트를 가진 에이전트는 동질적으로 행동하므로 현실적인 인구 통계학적 분포(예: 학력, 연령, 직업 등)를 제대로 반영하지 못합니다.
3. 관리의 어려움: 클러스터 전체에 분산된 수십만 또는 수백만 개의 에이전트를 오케스트레이션하고, 시작, 모니터링 및 종료하는 데 막대한 운영 오버헤드가 발생합니다.

핵심 아이디어

• 액터 기반 분산 아키텍처: 에이전트는 액터로서 독립적으로 계산을 수행합니다. 이 플랫폼은 연산 집약적 작업에서 GIL을 우회하기 위한 일대일(agent-per-process) 매핑과, I/O 대기 시간 동안 CPU 코어 시분할을 극대화하기 위한 다대일(에이전트가 프로세스를 공유) 매핑을 모두 지원합니다.
• 코드 수정 없는 분산 변환(to_dist): 사용자가 중앙 집중식 워크플로를 작성하면, 로컬 프록시와 비동기 메시지 placeholder를 사용하여 분산 환경 설정으로 투명하게 변환됩니다.
• 에이전트로서의 환경: 환경은 상태 유지, RPC를 통한 높은 동시성 접근, 리스너를 통한 양방향 트리거, 그룹 수준 시뮬레이션을 위한 중첩 다층 구조를 지원하는 특화된 에이전트로 모델링됩니다.
• 설정 가능한 이종 인구 집단 파이프라인: 사용자가 설정 파일에 인구 통계 분포를 정의하면, LLM 메타 프롬프트 파이프라인이 다양하고 개별화된 에이전트 페르소나를 생성합니다.
• Agent-Manager: 클러스터 노드 전반에서 에이전트를 배포, 모니터링 및 정리할 수 있는 웹 기반 그래픽 인터페이스와 영구 원격 서버 네트워크를 제공합니다.

방법론

분산 실행 및 자동 변환

AgentScope에서는 독립적인 에이전트들이 병렬로 실행됩니다. 중앙 집중식 파이프라인에 .to_dist() 태그가 지정되면 두 단계가 진행됩니다:

1. 분산 에이전트가 원격 워커 전반에 생성되며, 중앙 오케스트레이터에는 경량 프록시 객체만 유지됩니다.
2. 프록시는 호출을 수신하는 즉시 메시지 placeholder를 반환합니다. 다운스트림 에이전트는 선행 에이전트의 대기 중인 계산을 가리키는 placeholder를 검사할 때만 블로킹됩니다.

시뮬레이션 역학

본 플랫폼은 전통적인 "평균의 $\frac{2}{3}$ 맞히기(guess $\frac{2}{3}$ of the average)" 게임을 통해 멀티 에이전트의 추론 능력을 평가합니다. 각 에이전트 $i$는 $x_i\in [0,100]$을 제출합니다. 승리 목표는 다음과 같습니다: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ 합리성이 공통 지식이라는 가정 하에 게임이 반복되면 유일한 내시 균형은 $0$으로 수렴합니다. 사전 학습 데이터를 넘어선 일반화 성능을 테스트하는 대체 실험에서는 목표 규칙이 다음과 같이 조정되었습니다: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ $x^{\ast }=\bar{x}$로 두면 0이 아닌 내시 균형이 도출됩니다: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

실험 결과

• 확장성: 1,000,000개 에이전트 시뮬레이션은 기본 프롬프트를 적용한 Llama3-8B를 사용하여 4개 노드(각 노드당 8 $\times$ A100-80G GPU, 64 CPU 코어, 1 TB RAM 탑재)에서 12분 만에 완료되었으며, 토큰 수가 150배 이상 증가한 Chain-of-Thought (CoT) 프롬프팅 적용 시 85분 만에 완료되었습니다. LLM 추론 지연을 제외한 더미 연산 벤치마크에서는 표준 Python 비동기 I/O가 8.6시간, 직렬 실행이 약 12일 걸린 반면, 제안 방식은 100만 에이전트를 40초 만에 실행했습니다.
• 수평 확장성: 디바이스당 10,000개 에이전트로 고정했을 때, 클러스터 크기가 1개 노드에서 4개 노드로 증가해도 전체 실행 시간은 일정하게 유지되었습니다.
• 프롬프팅 및 추론 깊이: 기본 프롬프팅에서 대부분의 모델은 50 전후의 값을 제출했습니다(단, MistralAI-8x7B는 평균 36.63, MistralAI-8x22B는 평균 31.69를 기록). CoT 지침을 추가하자 제출 값이 0에 가까워졌습니다(Qwen2-72B의 당첨 번호는 33.70에서 12.76으로 하락, 다중 라운드 5라운드 평균은 25.16에서 2.02로 하락).
• 인구 통계 및 역할: 할당된 교육 수준이 높을수록 체계적으로 더 낮고 게임 이론적으로 더 최적인 추측 값을 생성했습니다(박사 학위 에이전트가 초등학생 에이전트보다 더 낮은 숫자를 제출함). 게임 이론 교수나 경제학자와 같은 직업군이 가장 낮은 수치를 제출했습니다.
• 변형 실험: 균형점이 10($5+\frac{1}{2}\bar{x}$)으로 변경되었을 때, 에이전트들은 여러 라운드에 걸쳐 반복적으로 10 부근으로 수렴했습니다.

한계점 및 열린 질문

• 엣지 케이스에서의 롤플레잉 불일치: 7세 어린이 역할을 수행하도록 프롬프트가 주어졌을 때도, 에이전트는 페르소나와 모순되는 다단계 산술 및 재귀적 추론을 실행했습니다.
• 단순 산술 오류: 전략적 추론 논리가 건전하더라도 분수나 소수가 포함된 계산 등에서 간혹 기본적인 계산 실수가 발생했습니다.
• 학습 사전 분포에 대한 민감도: 목표 비율을 $\frac{2}{3}$에서 $\frac{51}{100}$로 변경했을 때 모델이 암기된 게임 이론 패턴에 의존하여 성능이 저하되었으며, 프롬프트에 해당 게임이 "평균의 $\frac{2}{3}$ 맞히기"의 변형임을 명시적으로 밝힌 경우에만 성능이 회복되었습니다.