Báo cáo kỹ thuật GPT-4

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình ngôn ngữ lớn (LLM) đã cho thấy tiềm năng to lớn trong xử lý ngôn ngữ tự nhiên, nhưng các phiên bản trước đó (như GPT-3.5) bộc lộ những điểm yếu đáng chú ý trong suy luận phức tạp, độ tin cậy, độ chuẩn xác thực tế và tính an toàn. Hơn nữa, việc huấn luyện các mô hình tiên phong rất lớn đòi hỏi ngân sách tính toán khổng lồ, khiến cho việc tinh chỉnh siêu tham số tiêu chuẩn ở quy mô cuối cùng trở nên bất khả thi. Mục tiêu của GPT-4 là xây dựng một mô hình đa phương thức quy mô lớn có khả năng xử lý các kết hợp bất kỳ giữa đầu vào hình ảnh và văn bản, đồng thời duy trì hành vi mở rộng quy mô có thể dự đoán được và cải thiện vượt bậc về tính an toàn cũng như độ căn chỉnh.

Các ý tưởng cốt lõi

• Mở rộng quy mô có thể dự đoán (Predictable Scaling): Các quy trình tối ưu hóa và kiến trúc có thể được ổn định hóa sao cho loss kiểm thử cuối cùng và các bài đánh giá năng lực lập trình hạ nguồn (như tỷ lệ pass rate của HumanEval) có thể ngoại suy một cách đáng tin cậy từ các mô hình nhỏ hơn được huấn luyện bằng lượng tính toán ít hơn từ $1.000\times$ đến $10.000\times$.
• Hiểu đa phương thức (Multimodal Understanding): GPT-4 tiếp nhận hình ảnh và văn bản đan xen tùy ý, thực hiện suy luận phức tạp trên các biểu đồ, sơ đồ, câu hỏi thi cử và tính hài hước thị giác mà không làm suy giảm hiệu năng trên các bài đánh giá thuần ngôn ngữ.
• Sự thống trị của tiền huấn luyện kết hợp hậu huấn luyện có mục tiêu: Quá trình tiền huấn luyện mô hình cơ sở cung cấp năng lực suy luận cốt lõi và kiến thức thi cử (với điểm trung bình câu hỏi trắc nghiệm của mô hình cơ sở và RLHF về cơ bản là tương đương nhau ở mức 73,7% so với 74,0%), trong khi RLHF và các kiểm tra dựa trên luật sẽ điều hướng tính an toàn, định dạng và độ chuẩn xác thực tế.
• Rule-Based Reward Models (RBRMs): Việc căn chỉnh dựa vào các bộ phân loại an toàn do mô hình hỗ trợ, cung cấp các phần thưởng phụ có mục tiêu trong quá trình RLHF để định hướng việc từ chối thích hợp các câu lệnh (prompt) không được phép và giảm thiểu việc phòng thủ thái quá (over-hedging) đối với các prompt an toàn.

Phương pháp (với các phương trình chính)

GPT-4 là mô hình tự hồi quy dựa trên Transformer được tiền huấn luyện để dự đoán token tiếp theo trên dữ liệu web công khai và dữ liệu được cấp phép, tiếp nối bằng Học tăng cường từ phản hồi của con người (Reinforcement Learning from Human Feedback - RLHF).

1. Ngoại suy định luật mở rộng quy mô (Scaling Law Extrapolation)

Để đảm bảo khả năng dự đoán của cơ sở hạ tầng mà không cần tinh chỉnh thực nghiệm trên lần chạy chính, loss cuối cùng trên các token code nội bộ được dự đoán bằng công thức irreducible loss: $$L(C)=a{C}^b+c$$ trọng đó $C$ biểu thị lượng tính toán đã chuẩn hóa, và $a,b,c$ là các tham số khớp được từ các lần chạy sử dụng lượng tính toán ít hơn tới $10.000\times$.

Đối với việc mở rộng năng lực hạ nguồn trên HumanEval, pass rate log trung bình trên các tập con bài toán $P$ được mô hình hóa thông qua: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ cho phép đăng ký trước hiệu năng lập trình chức năng từ trước khi hoàn tất tiền huấn luyện.

2. Quy trình an toàn có sự hỗ trợ của mô hình (Model-Assisted Safety Pipeline)

Song song với phản hồi của con người, quá trình tối ưu hóa RLHF kết hợp các Rule-Based Reward Models (RBRMs). Một RBRM là một bộ phân loại GPT-4 zero-shot tiếp nhận:

• Prompt của người dùng (tùy chọn),
• Phần hoàn thành của mô hình chính sách (policy model),
• Một tiêu chí đánh giá do con người viết (một rubric đa lớp phân loại phản hồi vào các danh mục như từ chối mong muốn, từ chối lảng tránh/lan man, câu trả lời an toàn, hoặc nội dung không được phép).

Trọng số RBRM tối ưu cung cấp tín hiệu phần thưởng tự động để huấn luyện mô hình chính sách biết từ chối các yêu cầu độc hại (ví dụ: các mối đe dọa CBRN, tấn công mạng) trong khi vẫn phản hồi đáng tin cậy các yêu cầu lành tính trong các chủ đề nhạy cảm lân cận.

Kết quả (với các số liệu quan trọng nhất)

• Các kỳ thi chuyên môn & học thuật: GPT-4 đạt 298/400 (phân vị thứ 90) trong kỳ thi Uniform Bar Examination (so với 213/400, ~phân vị thứ 10 của GPT-3.5). Trên LSAT, mô hình đạt 163 điểm (phân vị thứ 88), và đạt điểm 5 trong kỳ thi AP Biology, AP Calculus BC (4), AP Chemistry (4), và AP Art History (5).
• Các bài kiểm thử NLP học thuật: GPT-4 thiết lập các kỷ lục state-of-the-art mới trên MMLU 5-shot (86,4% so với 70,0% của GPT-3.5), HellaSwag 10-shot (95,3%), ARC Challenge 25-shot (96,3%), và HumanEval 0-shot (67,0%). Trên GSM-8K 5-shot với chuỗi suy luận (chain-of-thought), mô hình đạt 92,0%.
• Năng lực đa ngôn ngữ: Các phiên bản dịch của MMLU trên 26 ngôn ngữ cho thấy GPT-4 vượt trội hơn đường cơ sở tiếng Anh của GPT-3.5 và PaLM ở 24 ngôn ngữ, bao gồm cả các ngôn ngữ tài nguyên thấp như tiếng Latvia (85,5%), tiếng Wales (71,4%) và tiếng Swahili (82,6%).
• Tính an toàn & Tính thực tế: GPT-4 đạt điểm cao hơn 19 điểm phần trăm so với phiên bản GPT-3.5 mới nhất trong các đánh giá tính thực tế nội bộ. Tỷ lệ phản hồi không được phép giảm 82%, việc tuân thủ các yêu cầu nhạy cảm tăng 29%, và việc tạo ra nội dung độc hại trên RealToxicityPrompts giảm từ 6,48% (GPT-3.5) xuống 0,73%.

Hạn chế và các câu hỏi mở

• Ảo giác (Hallucinations) & Hiệu chuẩn (Calibration): Dù đã giảm bớt các lỗi sai thực tế, GPT-4 vẫn tạo ra thông tin sai lệch và mắc các lỗi suy luận cơ bản. Trong khi mô hình tiền huấn luyện cơ sở thể hiện mức độ hiệu chuẩn gần như hoàn hảo, quá trình hậu huấn luyện bằng RLHF lại làm tổn hại đáng kể đến hiệu chuẩn, khiến mô hình đã căn chỉnh trở nên tự tin ngay cả khi trả lời sai.
• Mốc cắt giảm tri thức theo thời gian (Temporal Knowledge Cutoff): Đại đa số dữ liệu tiền huấn luyện bị cắt mốc vào tháng 9 năm 2021; mô hình không liên tục cập nhật trạng thái thế giới hoặc học hỏi từ các tương tác triển khai đang diễn ra.
• Mở rộng quy mô nghịch đảo (Inverse Scaling) & Vượt rào (Jailbreaks): Một số quy luật phản trực giác chỉ đảo ngược ở quy mô lớn (ví dụ: Hindsight Neglect), nhưng các lỗ hổng trước prompt đối kháng, thao túng tin nhắn hệ thống (system message) và các kỹ thuật bẻ khóa nhiều bước (multi-step jailbreaks) vẫn tồn tại.
• Thiếu tính minh bạch về kiến trúc: Do các lo ngại về an toàn và cạnh tranh, các thông số kỹ thuật về mặt kiến trúc (số lượng tham số, thiết kế MoE, kích thước tập dữ liệu, phần cứng và lượng tính toán chính xác) không được công bố.