AgentScope में अत्यंत बड़े पैमाने पर मल्टी-एजेंट सिमुलेशन

पढ़ने की गाइड

समस्या और प्रेरणा

लार्ज लैंग्वेज मॉडल (LLM) एजेंट्स व्यापक मैनुअल नियम प्रोग्रामिंग के बिना इंटरैक्टिव और यथार्थवादी सिमुलेशन को सक्षम बनाते हैं। हालाँकि, मल्टी-एजेंट सिमुलेशन को यथार्थवादी जनसांख्यिकीय आकारों तक बढ़ाने पर तीन महत्वपूर्ण बाधाएँ सामने आती हैं:

1. स्केलेबिलिटी और दक्षता सीमाएँ: केंद्रीकृत निष्पादन और Python का Global Interpreter Lock (GIL) एजेंट निष्पादन में बाधा डालते हैं। मौजूदा एक्टर फ्रेमवर्क (उदा., Ray) प्रति एक्टर एक नया प्रोसेस शुरू करते हैं, जिससे लाखों हल्के, I/O-बाउंड एजेंट्स को संभालते समय संसाधनों की बर्बादी होती है।
2. असंतोषजनक जनसंख्या वितरण और एजेंट विविधता: सरल, समान बैकग्राउंड प्रॉम्प्ट वाले एजेंट एक समान व्यवहार करते हैं, जो यथार्थवादी जनसांख्यिकीय वितरण (उदा., शिक्षा, आयु या व्यवसाय) का प्रतिनिधित्व करने में विफल रहते हैं।
3. कठिन प्रबंधन: क्लस्टर्स में वितरित सैकड़ों हजारों या लाखों एजेंट्स को ऑर्केस्ट्रेट करना, लॉन्च करना, मॉनिटर करना और समाप्त करना अत्यधिक परिचालन ओवरहेड की मांग करता है।

मुख्य विचार

• एक्टर-आधारित डिस्ट्रीब्यूटेड आर्किटेक्चर: एजेंट एक्टर्स के रूप में स्वतंत्र रूप से गणना करते हैं। प्लेटफ़ॉर्म वन-टू-वन (एजेंट-प्रति-प्रोसेस, गणना-गहन कार्यों के लिए GIL से बचना) और मेनी-टू-वन (एजेंट प्रोसेस साझा करते हैं, I/O प्रतीक्षा के दौरान CPU कोर टाइम-शेयरिंग को अधिकतम करना) दोनों मैपिंग का समर्थन करता है।
• ज़ीरो-रिफैक्टर डिस्ट्रीब्यूटेड रूपांतरण (to_dist): उपयोगकर्ता केंद्रीकृत वर्कफ़्लो बनाते हैं, जिन्हें स्थानीय प्रॉक्सी और एसिंक्रोनस संदेश प्लेसहोल्डर्स का उपयोग करके पारदर्शी रूप से डिस्ट्रीब्यूटेड सेटअप में बदल दिया जाता है।
• एजेंट के रूप में वातावरण: वातावरणों को विशेष एजेंट्स के रूप में मॉडल किया जाता है जो स्थिति रखरखाव, RPC के माध्यम से उच्च समवर्ती पहुँच, द्विदिश ट्रिगर्स (श्रोताओं के माध्यम से), और समूह-स्तरीय सिमुलेशन के लिए नेस्टेड बहु-स्तरीय संरचनाओं का समर्थन करते हैं।
• कॉन्फ़िगरेबल विषम जनसंख्या पाइपलाइन: उपयोगकर्ता कॉन्फ़िगरेशन फ़ाइलों में जनसांख्यिकीय वितरण को परिभाषित करते हैं, और एक LLM मेटा-प्रॉम्प्ट पाइपलाइन विविध, व्यक्तिगत एजेंट व्यक्तित्व उत्पन्न करती है।
• Agent-Manager: क्लस्टर नोड्स पर एजेंट्स को डिप्लॉय, मॉनिटर और क्लीन अप करने के लिए एक वेब-आधारित ग्राफिकल इंटरफ़ेस और स्थायी रिमोट सर्वर नेटवर्क।

विधि

डिस्ट्रीब्यूटेड निष्पादन और स्वचालित रूपांतरण

AgentScope में, स्वतंत्र एजेंट समवर्ती रूप से निष्पादित होते हैं। जब एक केंद्रीकृत पाइपलाइन को .to_dist() के साथ टैग किया जाता है, तो दो चरण होते हैं:

1. डिस्ट्रीब्यूटेड एजेंट रिमोट वर्कर्स में स्पॉन होते हैं; हल्के प्रॉक्सी ऑब्जेक्ट्स केंद्रीय ऑर्केस्ट्रेटर पर बने रहते हैं।
2. कॉल प्राप्त होने पर प्रॉक्सी तुरंत संदेश प्लेसहोल्डर्स लौटाते हैं। डाउनस्ट्रीम एजेंट केवल तभी ब्लॉक होते हैं जब वे उन प्लेसहोल्डर्स का निरीक्षण करते हैं जो पूर्ववर्ती एजेंट्स से लंबित गणना की ओर संकेत करते हैं।

सिमुलेशन गतिशीलता

प्लेटफ़ॉर्म क्लासिक "औसत के $\frac{2}{3}$ का अनुमान लगाएं" खेल पर मल्टी-एजेंट रीज़निंग का मूल्यांकन करता है। प्रत्येक एजेंट $i$, $x_i\in [0,100]$ सबमिट करता है। जीतने का लक्ष्य है: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ जब तर्कसंगतता के सामान्य ज्ञान के तहत पुनरावृत्ति की जाती है, तो अद्वितीय Nash equilibrium $0$ पर अभिसरित (converge) होता है। पूर्व प्रशिक्षण डेटा से परे सामान्यीकरण का परीक्षण करने वाले वैकल्पिक प्रयोगों में, लक्ष्य नियम को इस प्रकार समायोजित किया गया था: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ $x^{\ast }=\bar{x}$ सेट करने पर एक गैर-शून्य Nash equilibrium प्राप्त होता है: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

परिणाम

• स्केलेबिलिटी: 1,000,000 एजेंट्स का सिमुलेशन बेसिक प्रॉम्प्ट्स के साथ Llama3-8B का उपयोग करके 4 नोड्स (प्रत्येक में 8 $\times$ A100-80G GPUs, 64 CPU कोर, 1 TB RAM) पर 12 मिनट में और Chain-of-Thought (CoT) प्रॉम्प्टिंग के साथ 85 मिनट में पूरा हुआ (जिसने टोकन संख्या को 150 गुना से अधिक बढ़ा दिया)। LLM इनफेरेंस लेटेंसी को हटाने वाले एक डमी कंप्यूट बेंचमार्क में, 1M एजेंट्स मानक Python एसिंक्रोनस I/O के माध्यम से लगने वाले 8.6 घंटे और क्रमिक निष्पादन के ~12 दिनों की तुलना में मात्र 40 सेकंड में चले।
• क्षैतिज स्केलिंग (Horizontal scaling): प्रति डिवाइस 10,000 एजेंट्स के निश्चित होने पर, क्लस्टर का आकार 1 से 4 नोड्स तक बढ़ने पर भी समग्र रनटाइम स्थिर रहा।
• प्रॉम्प्टिंग और रीज़निंग गहराई: बेसिक प्रॉम्प्टिंग के तहत, अधिकांश मॉडल्स ने लगभग 50 की सूचना दी (हालाँकि MistralAI-8x7B का औसत 36.63 और MistralAI-8x22B का औसत 31.69 रहा)। CoT निर्देश जोड़ने से मान 0 की ओर बढ़ गए (Qwen2-72B जीतने वाली संख्याएँ 33.70 से घटकर 12.76 हो गईं, और बहु-दौर दौर 5 के औसत 25.16 से घटकर 2.02 हो गए)।
• जनसांख्यिकी और भूमिकाएँ: उच्च सौंपे गए शिक्षा स्तरों ने व्यवस्थित रूप से निचले, अधिक खेल-सैद्धांतिक रूप से इष्टतम अनुमान उत्पन्न किए (Ph.D. एजेंट्स ने प्राथमिक विद्यालय के एजेंट्स की तुलना में कम संख्याओं की सूचना दी)। गेम थ्योरी के प्रोफेसरों और अर्थशास्त्रियों जैसे व्यवसायों ने सबसे कम संख्या की सूचना दी।
• वेरिएंट्स: जब संतुलन को 10 ($5+\frac{1}{2}\bar{x}$) पर स्थानांतरित किया गया, तो एजेंट्स कई राउंड्स में 10 के आसपास पुनरावृत्त रूप से अभिसरित हुए।

सीमाएँ और खुले प्रश्न

• सीमांत मामलों में रोल-प्लेइंग असंगति: जब 7-वर्षीय बच्चे के रूप में कार्य करने के लिए प्रेरित किया गया, तब भी एजेंट्स ने बहु-चरणीय अंकगणित और पुनरावर्ती रीज़निंग निष्पादित की जो व्यक्तित्व के विपरीत थी।
• सरल अंकगणितीय त्रुटियाँ: सामरिक रीज़निंग तर्क सही होने पर भी एजेंट्स ने कभी-कभी बुनियादी गणना गलतियाँ कीं (विशेष रूप से भिन्न या दशमलव से जुड़ी)।
• प्रशिक्षण प्रायर के प्रति संवेदनशीलता: लक्ष्य अनुपात को $\frac{2}{3}$ से $\frac{51}{100}$ में स्थानांतरित करने से प्रदर्शन में गिरावट आई क्योंकि मॉडल याद किए गए गेम थ्योरी पैटर्न पर निर्भर थे; प्रदर्शन केवल तभी ठीक हुआ जब प्रॉम्प्ट्स में स्पष्ट रूप से कहा गया कि खेल "औसत के $\frac{2}{3}$ का अनुमान लगाएं" का एक रूपांतर था।