Constitutional AI: Sự vô hại từ phản hồi của AI

Hướng dẫn đọc

Vấn đề và động lực

Học tăng cường từ phản hồi của con người (RLHF) tiêu chuẩn gặp phải một số điểm nghẽn khi căn chỉnh các trợ lý ngôn ngữ:

• Phụ thuộc nhiều vào nhãn tác hại của con người: Việc thu thập hàng chục nghìn so sánh sở thích của con người về tính độc hại rất tốn kém và khiến người gán nhãn phải tiếp xúc với nội dung độc hại.
• Sự né tránh và mâu thuẫn với tính hữu ích: Các mô hình được huấn luyện qua RLHF thường học cách trả lời các lời nhắc nhạy cảm bằng những lời từ chối khuôn mẫu như “Tôi không thể trả lời câu hỏi đó”, làm giảm tính hữu ích và tính minh bạch.
• Thiếu minh bạch: Hàng nghìn nhãn sở thích riêng tư khiến các mục tiêu căn chỉnh chính xác trở nên ngầm ẩn và khó kiểm tra hoặc đánh giá.

Constitutional AI (CAI) nhằm mục đích mở rộng quy mô giám sát bằng cách thay thế các nhãn tác hại của con người bằng các nguyên tắc ngôn ngữ tự nhiên rõ ràng (một hiến pháp - constitution), huấn luyện AI tự phê bình, chỉnh sửa và tự tạo phản hồi sở thích của chính nó.

Các ý tưởng cốt lõi

• Một hiến pháp gồm các nguyên tắc: Hành vi được điều hướng hoàn toàn thông qua một bộ quy tắc ngắn bằng ngôn ngữ tự nhiên (khoảng 16 nguyên tắc) thay vì các nhãn tác hại của con người.
• Quy trình hai giai đoạn: Giai đoạn Học có giám sát (SL) đưa các đầu ra của mô hình về đúng phân phối bằng cách sử dụng các bản tự phê bình và chỉnh sửa, tiếp theo là giai đoạn Học tăng cường từ phản hồi của AI (RLAIF) nhằm huấn luyện một mô hình sở thích dựa trên các so sánh do mô hình đánh giá.
• Tương tác thay vì né tránh: Trợ lý được hướng dẫn giải thích lý do phản đối các yêu cầu có hại thay vì đưa ra những lời từ chối tuyệt đối.
• Giám sát bằng chuỗi suy nghĩ (Chain-of-Thought - CoT): Tận dụng suy luận từng bước trong quá trình đánh giá giúp cải thiện đáng kể khả năng xác định tác hại và đánh giá các lựa chọn sở thích trắc nghiệm của mô hình.

Phương pháp

1. Giai đoạn học có giám sát (Phê bình $\to$ Chỉnh sửa $\to$ SL-CAI)

1. Lấy mẫu đầu ra ban đầu từ mô hình RLHF hữu ích bằng cách sử dụng lời nhắc red-teaming $x$.
2. Yêu cầu mô hình tự phê bình phản hồi của chính nó theo một nguyên tắc hiến pháp được lấy mẫu ngẫu nhiên: $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Yêu cầu mô hình chỉnh sửa phản hồi để thỏa mãn phê bình: $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Lặp lại quy trình phê bình - chỉnh sửa (thường lên đến 4 lần chỉnh sửa).
5. Tinh chỉnh một LM đã được tiền huấn luyện trên các phản hồi đã chỉnh sửa kết hợp với dữ liệu minh họa tính hữu ích (182.831 lời nhắc red team, 135.296 lời nhắc hữu ích) trong một epoch với kích thước batch là 1024.

2. Giai đoạn học tăng cường (RLAIF)

1. Sử dụng mô hình SL-CAI, lấy mẫu các cặp phản hồi $(y_A,y_B)$ cho các lời nhắc.
2. Đưa cuộc hội thoại, cặp phản hồi và một nguyên tắc được lấy mẫu vào mô hình phản hồi dưới dạng trắc nghiệm (tùy chọn sử dụng chuỗi suy nghĩ - Chain-of-Thought).
3. Tính toán xác suất mục tiêu chuẩn hóa từ logit hoàn thành của mô hình phản hồi: $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ Khi sử dụng Chain-of-Thought, xác suất mục tiêu được kẹp (clamp) trong khoảng $[0.40,0.60]$ để tránh tình trạng quá tự tin.
4. Huấn luyện Mô hình sở thích (PM) bằng dữ liệu hỗn hợp: 135.296 so sánh tính hữu ích do con người gắn nhãn và 182.831 so sánh tính vô hại do AI tạo ra.
5. Tối ưu hóa chính sách SL-CAI dựa trên mô hình sở thích này thông qua RL.

Kết quả

• Cải thiện Pareto: Đánh giá từ người gắn nhãn (dựa trên 10.274 so sánh tính hữu ích và 8.135 so sánh tính vô hại) cho thấy các mô hình RL-CAI 52B đạt điểm Elo vô hại vượt trội ở cùng mức độ hữu ích so với các mô hình được huấn luyện trên nhãn vô hại của con người.
• Giảm tính né tránh: Khi người gắn nhãn được hướng dẫn rõ ràng rằng nên ưu tiên các lời giải thích thấu đáo hơn là những lời từ chối né tránh, các mô hình RL-CAI liên tục thể hiện tốt hơn các mô hình HH RLHF tiêu chuẩn.
• Khả năng mở rộng quy mô của phản hồi từ AI: Các mô hình lớn hơn (52B) với suy luận Chain-of-Thought đã đạt độ chính xác gần bằng các mô hình được huấn luyện trên sở thích của con người trên các benchmark đánh giá HHH (đạt độ chính xác trên 80–90% trong việc xác định tác hại trắc nghiệm nhị phân).
• Phê bình so với Chỉnh sửa trực tiếp: Các bản phê bình đem lại sự cải thiện rõ rệt về điểm số vô hại cho các mô hình nhỏ hơn, trong khi hoạt động tốt hơn một chút hoặc tương đương trên các mô hình 52B so với việc chỉnh sửa trực tiếp.

Hạn chế và các câu hỏi mở

• Phụ thuộc vào nhãn hữu ích của con người: Các thí nghiệm chỉ loại bỏ nhãn phản hồi của con người đối với tính vô hại; dữ liệu về tính hữu ích vẫn dựa vào các nhãn so sánh của con người.
• Hiện tượng Goodhart và tối ưu hóa quá mức: Quá trình huấn luyện RL kéo dài đôi khi tạo ra ngôn ngữ mang tính giáo điều hoặc sáo rỗng (ví dụ: lặp đi lặp lại việc nói “Bạn luôn có giá trị, được coi trọng và được quan tâm”).
• Hiệu chuẩn mục tiêu CoT: Do suy luận Chain-of-Thought khiến mô hình nghiêng hẳn về một lựa chọn, việc kẹp xác suất (probability clamping) là cần thiết như một phương pháp phỏng đoán để duy trì tính ổn định của mô hình sở thích.
• Mối lo ngại về lưỡng dụng (Dual-Use): Việc giảm bớt rào cản gán nhãn để định hướng mô hình ngôn ngữ cũng khiến việc huấn luyện mô hình cho các mục tiêu có hại mà không có sự giám sát của con người trở nên dễ dàng hơn.