AgentScope ile Çok Büyük Ölçekli Çoklu Ajan Simülasyonu

Okuma rehberi

Problem ve motivasyon

Büyük dil modeli (LLM) ajanları, kapsamlı manuel kural programlamasına gerek kalmadan etkileşimli ve gerçekçi simülasyonlar sağlar. Ancak, çoklu ajan simülasyonlarını gerçekçi demografik boyutlara ölçeklendirmek üç kritik darboğazı ortaya çıkarır:

1. Ölçeklenebilirlik ve verimlilik sınırları: Merkezi yürütme ve Python'ın Global Interpreter Lock (GIL) mekanizması ajan yürütmesini engeller. Mevcut aktör çatıları (ör. Ray), aktör başına yeni bir süreç başlatır ve bu durum milyonlarca hafif, G/Ç kısıtlı ajanı işlerken kaynak israfına yol açar.
2. Yetersiz popülasyon dağılımları ve ajan çeşitliliği: Basit ve özdeş arka plan istemlerine sahip ajanlar homojen davranarak gerçekçi demografik dağılımları (ör. eğitim, yaş veya meslek açısından) temsil edemez.
3. Zor yönetim: Kümelere dağıtılmış yüz binlerce veya milyonlarca ajanın orkestrasyonunu sağlamak, başlatmak, izlemek ve sonlandırmak ciddi bir operasyonel iş yükü gerektirir.

Temel fikirler

• Aktör tabanlı dağıtık mimari: Ajanlar aktörler olarak bağımsız şekilde hesaplama yapar. Platform hem bire bir (süreç başına ajan; hesaplama ağırlıklı görevler için GIL'den kaçınır) hem de çoktan bire (ajanlar süreçleri paylaşır; G/Ç beklemeleri sırasında CPU çekirdeği zaman paylaşımını en üst düzeye çıkarır) eşlemeleri destekler.
• Sıfır yeniden düzenleme ile dağıtık dönüşüm (to_dist): Kullanıcılar merkezi iş akışları yazar; bunlar yerel vekiller ve eşzamansız mesaj yer tutucuları kullanılarak şeffaf bir şekilde dağıtık kurgulara dönüştürülür.
• Bir ajan olarak çevre: Çevreler, durum bakımını, RPC yoluyla yüksek eşzamanlı erişimi, çift yönlü tetikleyicileri (dinleyiciler aracılığıyla) ve grup düzeyinde simülasyonlar için iç içe geçmiş çok katmanlı yapıları destekleyen özelleşmiş ajanlar olarak modellenir.
• Yapılandırılabilir heterojen popülasyon ardışık düzeni: Kullanıcılar demografik dağılımları yapılandırma dosyalarında tanımlar ve bir LLM meta-istem ardışık düzeni çeşitli, bireyselleştirilmiş ajan personaları üretir.
• Agent-Manager: Küme düğümleri genelinde ajanları dağıtmak, izlemek ve temizlemek için web tabanlı bir grafik arayüz ve kalıcı uzak sunucu ağı.

Yöntem

Dağıtık Yürütme ve Otomatik Dönüşüm

AgentScope'ta bağımsız ajanlar eşzamanlı olarak yürütülür. Merkezi bir ardışık düzen .to_dist() ile etiketlendiğinde iki aşama gerçekleşir:

1. Dağıtık ajanlar uzak çalışanlar üzerinde başlatılır; hafif vekil nesneler merkezi orkestratör üzerinde kalır.
2. Vekiller bir çağrı aldıklarında hemen mesaj yer tutucuları döndürür. Akış yönündeki ajanlar, yalnızca önceki ajanlardan bekleyen hesaplamalara işaret eden yer tutucuları incelediklerinde engellenir (block).

Simülasyon Dinamikleri

Platform, çoklu ajan akıl yürütmesini klasik "ortalamanın $\frac{2}{3}$'ünü tahmin etme" oyunu üzerinden değerlendirir. Her $i$ ajanı $x_i\in [0,100]$ aralığında bir değer sunar. Kazanan hedef şudur: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ Rasyonelliğin ortak bilgi olduğu varsayımı altında tekrarlandığında, tek Nash dengesi $0$'a yakınsar. Önceki eğitim verilerinin ötesinde genelleştirmeyi test eden alternatif deneylerde, hedef kural şu şekilde ayarlanmıştır: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ $x^{\ast }=\bar{x}$ eşitliği sıfır olmayan bir Nash dengesi üretir: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Sonuçlar

• Ölçeklenebilirlik: 1.000.000 ajanlık bir simülasyon, temel istemlere sahip Llama3-8B kullanılarak 4 düğümde (her birinde 8 $\times$ A100-80G GPU, 64 CPU çekirdeği, 1 TB RAM) 12 dakikada, Düşünce Zinciri (CoT) istemlemesiyle ise (belirteç sayılarını 150 kattan fazla artırmıştır) 85 dakikada tamamlanmıştır. LLM çıkarım gecikmesini ortadan kaldıran yapay bir hesaplama kıyaslamasında, 1 milyon ajan standart Python eşzamansız G/Ç ile 8,6 saat ve seri yürütme ile ~12 gün sürerken, bu mimariyle 40 saniyede çalışmıştır.
• Yatay ölçekleme: Cihaz başına sabit 10.000 ajan ile küme boyutu 1 düğümden 4 düğüme çıkarıldığında toplam çalışma süresi sabit kalmıştır.
• İstemleme ve akıl yürütme derinliği: Temel istemleme altında çoğu model 50 civarında sonuç bildirmiştir (MistralAI-8x7B ortalama 36,63 ve MistralAI-8x22B ortalama 31,69 bildirmiştir). CoT talimatlarının eklenmesi bildirimleri 0'a doğru çekmiştir (Qwen2-72B kazanan sayıları 33,70'ten 12,76'ya düşmüş ve çok turlu 5. tur ortalamaları 25,16'dan 2,02'ye gerilemiştir).
• Demografi ve roller: Atanan eğitim seviyesinin daha yüksek olması, sistematik olarak daha düşük ve oyun teorisi açısından daha optimal tahminler üretmiştir (doktora dereceli ajanlar ilkokul seviyesindeki ajanlardan daha düşük sayılar bildirmiştir). Oyun teorisi profesörleri ve ekonomistler gibi meslekler en düşük sayıları bildirmiştir.
• Varyantlar: Denge noktası 10'a kaydırıldığında ($5+\frac{1}{2}\bar{x}$), ajanlar birden fazla tur boyunca yinelemeli olarak 10 civarında yakınsamıştır.

Sınırlılıklar ve açık sorular

• Uç durumlarda rol yapma tutarsızlığı: 7 yaşında bir çocuk gibi davranması istendiğinde ajanlar, bu persona ile çelişen çok adımlı aritmetik ve özyinelemeli akıl yürütmeler yapmaya devam etmiştir.
• Basit aritmetik hataları: Stratejik akıl yürütme mantıkları sağlam olsa bile, ajanlar zaman zaman basit hesaplama hataları (özellikle kesirler veya ondalık sayılar içeren) yapmıştır.
• Eğitim öncüllerine duyarlılık: Hedef oranının $\frac{2}{3}$'ten $\frac{51}{100}$'e kaydırılması, modellerin ezberlenmiş oyun teorisi kalıplarına dayanması nedeniyle performansı düşürmüştür; performans yalnızca istemlerde oyunun "ortalamanın $\frac{2}{3}$'ünü tahmin etme" oyununun bir varyantı olduğu açıkça belirtildiğinde düzelmiştir.