Simulasi Multi-Agent Skala Sangat Besar di AgentScope

Panduan membaca

Masalah dan motivasi

Agen model bahasa besar (LLM) memungkinkan simulasi yang interaktif dan realistis tanpa pemrograman aturan manual yang rumit. Namun, meningkatkan skala simulasi multi-agent hingga ukuran demografis yang realistis memunculkan tiga kendala utama:

1. Batas skalabilitas dan efisiensi: Eksekusi terpusat dan Global Interpreter Lock (GIL) Python menghambat eksekusi agen. Kerangka kerja aktor yang ada (misalnya, Ray) membuat proses baru untuk setiap aktor, sehingga memboroskan sumber daya saat menangani jutaan agen ringan yang terikat I/O.
2. Distribusi populasi dan keberagaman agen yang kurang memadai: Agen dengan prompt latar belakang yang sederhana dan identik berperilaku seragam, gagal merepresentasikan distribusi demografis yang realistis (misalnya, lintas tingkat pendidikan, usia, atau pekerjaan).
3. Manajemen yang sulit: Mengorkestrasi, meluncurkan, memantau, dan menghentikan ratusan ribu hingga jutaan agen yang terdistribusi di seluruh kluster memerlukan beban operasional yang substansial.

Gagasan utama

• Arsitektur terdistribusi berbasis aktor: Agen melakukan komputasi secara independen sebagai aktor. Platform ini mendukung pemetaan one-to-one (satu agen per proses, menghindari GIL untuk tugas komputasi berat) dan many-to-one (beberapa agen berbagi proses, memaksimalkan pembagian waktu inti CPU selama penantian I/O).
• Konversi terdistribusi tanpa refaktor (to_dist): Pengguna menulis alur kerja terpusat, yang kemudian dikonversi secara transparan menjadi konfigurasi terdistribusi menggunakan proksi lokal dan placeholder pesan asinkron.
• Lingkungan sebagai agen: Lingkungan dimodelkan sebagai agen khusus yang mendukung pemeliharaan status, akses konkurensi tinggi via RPC, pemicu dua arah (melalui listener), dan struktur bersarang bertingkat untuk simulasi tingkat kelompok.
• Alur pembuatan populasi heterogen yang dapat dikonfigurasi: Pengguna menentukan distribusi demografis dalam berkas konfigurasi, dan alur meta-prompt LLM akan menghasilkan persona agen yang beragam dan terindividualisasi.
• Agent-Manager: Antarmuka grafis berbasis web dan jaringan server jarak jauh yang persisten untuk menerapkan, memantau, dan membersihkan agen di seluruh node kluster.

Metode

Eksekusi Terdistribusi & Konversi Otomatis

Dalam AgentScope, agen independen dieksekusi secara konkuren. Ketika sebuah pipeline terpusat ditandai dengan .to_dist(), dua tahap berlangsung:

1. Agen terdistribusi dibuat di berbagai worker jarak jauh; objek proksi ringan tetap berada di orkestrator pusat.
2. Proksi segera mengembalikan placeholder pesan setelah menerima panggilan. Agen hilir hanya akan terhenti (blocking) ketika mereka memeriksa placeholder yang mengarah pada komputasi yang belum selesai dari agen sebelumnya.

Dinamika Simulasi

Platform ini mengevaluasi penalaran multi-agent pada permainan klasik "tebak $\frac{2}{3}$ dari rata-rata". Setiap agen $i$ mengirimkan $x_i\in [0,100]$. Target kemenangan adalah: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ Ketika diulang di bawah asumsi pengetahuan umum tentang rasionalitas, ekuilibrium Nash yang unik akan konvergen ke $0$. Dalam eksperimen alternatif untuk menguji generalisasi di luar data pelatihan sebelumnya, aturan target disesuaikan menjadi: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ Menetapkan $x^{\ast }=\bar{x}$ menghasilkan ekuilibrium Nash non-nol: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Hasil

• Skalabilitas: Simulasi 1.000.000 agen selesai dalam 12 menit menggunakan 4 node (masing-masing dilengkapi 8 $\times$ GPU A100-80G, 64 core CPU, 1 TB RAM) menggunakan Llama3-8B dengan prompt dasar, dan dalam 85 menit dengan prompt Chain-of-Thought (CoT) (yang meningkatkan jumlah token lebih dari 150 kali lipat). Dalam tolok ukur komputasi dummy tanpa latensi inferensi LLM, 1 juta agen berjalan dalam 40 detik, dibandingkan dengan 8,6 jam melalui I/O asinkron Python standar dan ~12 hari melalui eksekusi serial.
• Penskalaan horizontal: Dengan jumlah tetap 10.000 agen per perangkat, waktu berjalan total tetap konstan seiring bertambahnya ukuran kluster dari 1 menjadi 4 node.
• Prompting & kedalaman penalaran: Di bawah prompt dasar, sebagian besar model melaporkan angka sekitar 50 (meskipun MistralAI-8x7B rata-rata 36,63 dan MistralAI-8x22B rata-rata 31,69). Penambahan instruksi CoT mendorong angka laporan mendekati 0 (angka kemenangan Qwen2-72B turun dari 33,70 menjadi 12,76, dan rata-rata putaran ke-5 pada multi-putaran turun dari 25,16 menjadi 2,02).
• Demografi & peran: Tingkat pendidikan yang lebih tinggi secara sistematis menghasilkan tebakan yang lebih rendah dan lebih optimal secara teori permainan (agen Ph.D. melaporkan angka lebih rendah daripada agen sekolah dasar). Pekerjaan seperti profesor teori permainan dan ekonom melaporkan angka paling rendah.
• Varian: Ketika ekuilibrium digeser menjadi 10 ($5+\frac{1}{2}\bar{x}$), agen secara iteratif mengalami konvergensi di sekitar angka 10 dalam beberapa putaran.

Keterbatasan dan pertanyaan terbuka

• Inkonsistensi role-playing pada kasus ekstrem: Saat diminta berperan sebagai anak berusia 7 tahun, agen tetap menjalankan operasi aritmetika multitahap dan penalaran rekursif yang bertentangan dengan personanya.
• Kesalahan aritmetika sederhana: Agen terkadang membuat kekeliruan perhitungan dasar (terutama yang melibatkan pecahan atau desimal), bahkan ketika logika penalaran strategis mereka masuk akal.
• Sensitivitas terhadap prior pelatihan: Mengubah rasio target dari $\frac{2}{3}$ menjadi $\frac{51}{100}$ menurunkan kinerja karena model bersandar pada pola teori permainan yang telah dihafal; kinerja hanya pulih ketika prompt secara eksplisit menyatakan bahwa permainan tersebut adalah varian dari "tebak $\frac{2}{3}$ dari rata-rata".