Mô phỏng Đa tác tử Quy mô Cực lớn trong AgentScope

Hướng dẫn đọc

Vấn đề và động lực

Các tác tử mô hình ngôn ngữ lớn (LLM) cho phép mô phỏng thực tế và mang tính tương tác cao mà không cần lập trình thủ công quy tắc quá phức tạp. Tuy nhiên, việc mở rộng mô phỏng đa tác tử lên quy mô nhân khẩu học thực tế bộc lộ ba nút thắt nghiêm trọng:

1. Giới hạn về khả năng mở rộng và hiệu quả: Việc thực thi tập trung và khóa phiên dịch toàn cục (GIL) của Python cản trở quá trình thực thi tác tử. Các framework actor hiện có (ví dụ: Ray) khởi tạo một tiến trình mới cho mỗi actor, gây lãng phí tài nguyên khi xử lý hàng triệu tác tử nhẹ, nghẽn I/O.
2. Phân phối quần thể và tính đa dạng của tác tử chưa đạt yêu cầu: Các tác tử có prompt bối cảnh đơn giản và giống hệt nhau sẽ hành xử đồng nhất, không đại diện được các phân phối nhân khẩu học thực tế (ví dụ: về học vấn, tuổi tác hoặc nghề nghiệp).
3. Khó khăn trong quản lý: Việc điều phối, khởi chạy, giám sát và dừng hàng trăm nghìn hoặc hàng triệu tác tử phân tán trên các cụm máy chủ đòi hỏi chi phí vận hành rất lớn.

Các ý tưởng cốt lõi

• Kiến trúc phân tán dựa trên actor: Các tác tử tính toán độc lập dưới dạng actor. Nền tảng hỗ trợ cả ánh xạ một-một (mỗi tác tử một tiến trình, tránh GIL cho các tác vụ nặng về tính toán) và nhiều-một (nhiều tác tử dùng chung tiến trình, tối đa hóa việc chia sẻ thời gian của lõi CPU trong thời gian chờ I/O).
• Chuyển đổi phân tán không cần tái cấu trúc (to_dist): Người dùng xây dựng các luồng công việc tập trung, sau đó chúng được chuyển đổi một cách trong suốt sang các thiết lập phân tán bằng cách sử dụng proxy cục bộ và các placeholder thông điệp bất đồng bộ.
• Môi trường hoạt động như một tác tử: Các môi trường được mô hình hóa thành các tác tử chuyên biệt hỗ trợ duy trì trạng thái, truy cập đồng thời cao qua RPC, các bộ kích hoạt hai chiều (thông qua listener) và các cấu trúc lồng nhau nhiều tầng cho các mô phỏng cấp độ nhóm.
• Quy trình tạo quần thể không đồng nhất có thể cấu hình: Người dùng định nghĩa các phân phối nhân khẩu học trong tệp cấu hình, và một quy trình meta-prompt LLM sẽ tạo ra các persona tác tử đa dạng, cá nhân hóa.
• Agent-Manager: Giao diện đồ họa nền web và mạng lưới máy chủ từ xa liên tục để triển khai, giám sát và dọn dẹp các tác tử trên các nút cụm.

Phương pháp

Thực thi Phân tán & Chuyển đổi Tự động

Trong AgentScope, các tác tử độc lập thực thi đồng thời. Khi một luồng công việc tập trung được gắn cờ .to_dist(), hai giai đoạn sẽ diễn ra:

1. Các tác tử phân tán được sinh ra trên các worker từ xa; các đối tượng proxy nhẹ vẫn tồn tại trên bộ điều phối trung tâm.
2. Các proxy ngay lập tức trả về các placeholder thông điệp khi nhận được lời gọi. Các tác tử downstream chỉ bị chặn (block) khi chúng kiểm tra các placeholder đang trỏ đến phép tính chưa hoàn tất từ các tác tử phía trước.

Động lực học Mô phỏng

Nền tảng đánh giá khả năng suy luận đa tác tử trên trò chơi kinh điển "đoán $\frac{2}{3}$ của giá trị trung bình". Mỗi tác tử $i$ đưa ra một giá trị $x_i\in [0,100]$. Mục tiêu chiến thắng là: $$x^{\ast }=\frac{2}{3}\cdot \bar{x}=\frac{2}{3}\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)$$ Khi lặp lại với giả định tri thức chung về tính duy lý, điểm cân bằng Nash duy nhất sẽ hội tụ về $0$. Trong các thí nghiệm khác kiểm tra khả năng khái quát hóa vượt ra ngoài dữ liệu huấn luyện trước đó, quy tắc mục tiêu được điều chỉnh thành: $$x^{\ast }=5+\frac{1}{2}\bar{x}$$ Đặt $x^{\ast }=\bar{x}$ sẽ mang lại một cân bằng Nash khác không: $$x^{\ast }=5+\frac{1}{2}{x}^{\ast }⟹x^{\ast }=10$$

Kết quả

• Khả năng mở rộng: Mô phỏng 1.000.000 tác tử hoàn thành trong 12 phút khi sử dụng 4 nút (mỗi nút có 8 GPU $\times$ A100-80G, 64 lõi CPU, 1 TB RAM) với Llama3-8B cùng prompt cơ bản, và trong 85 phút khi dùng prompt Chain-of-Thought (CoT) (vốn làm tăng lượng token hơn 150 lần). Trong một bài benchmark tính toán giả lập loại bỏ độ trễ suy luận LLM, 1 triệu tác tử chạy trong 40 giây, so với 8,6 giờ qua I/O bất đồng bộ chuẩn của Python và ~12 ngày qua thực thi tuần tự.
• Mở rộng theo chiều ngang: Với mức cố định 10.000 tác tử trên mỗi thiết bị, tổng thời gian chạy vẫn không đổi khi quy mô cụm tăng từ 1 lên 4 nút.
• Prompting & độ sâu suy luận: Dưới prompt cơ bản, hầu hết các mô hình báo cáo khoảng 50 (mặc dù MistralAI-8x7B trung bình đạt 36,63 và MistralAI-8x22B trung bình đạt 31,69). Việc thêm hướng dẫn CoT đã đẩy các giá trị báo cáo về gần 0 (các con số chiến thắng của Qwen2-72B giảm từ 33,70 xuống 12,76, và trung bình ở vòng 5 của mô phỏng nhiều vòng giảm từ 25,16 xuống 2,02).
• Nhân khẩu học & vai trò: Trình độ học vấn được chỉ định cao hơn sẽ tạo ra các phỏng đoán thấp hơn, tối ưu hơn về mặt lý thuyết trò chơi một cách có hệ thống (tác tử có học vị Tiến sĩ đưa ra con số thấp hơn tác tử học sinh tiểu học). Các nghề nghiệp như giáo sư lý thuyết trò chơi và nhà kinh tế học đưa ra những con số thấp nhất.
• Các biến thể: Khi điểm cân bằng bị dịch chuyển sang 10 ($5+\frac{1}{2}\bar{x}$), các tác tử lặp lại và hội tụ xung quanh 10 qua nhiều vòng.

Hạn chế và các câu hỏi mở

• Sự thiếu nhất quán khi nhập vai trong các trường hợp biên: Khi được yêu cầu đóng vai một đứa trẻ 7 tuổi, các tác tử vẫn thực hiện các phép tính số học nhiều bước và suy luận đệ quy mâu thuẫn với persona đó.
• Lỗi số học đơn giản: Thỉnh thoảng các tác tử mắc các lỗi tính toán cơ bản (đặc biệt liên quan đến phân số hoặc số thập phân), ngay cả khi logic suy luận chiến lược của chúng hoàn toàn đúng đắn.
• Độ nhạy cảm với priors huấn luyện: Việc chuyển tỷ lệ mục tiêu từ $\frac{2}{3}$ sang $\frac{51}{100}$ làm suy giảm hiệu năng vì các mô hình dựa dẫm vào các mẫu lý thuyết trò chơi đã ghi nhớ; hiệu năng chỉ phục hồi khi các prompt nêu rõ ràng rằng trò chơi là một biến thể của trò "đoán $\frac{2}{3}$ của giá trị trung bình".