BERT: Tiền huấn luyện Transformer hai chiều sâu cho hiểu ngôn ngữ

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình biểu diễn ngôn ngữ trước đây dựa trên phương pháp tiếp cận dựa trên đặc trưng (như ELMo) hoặc phương pháp tinh chỉnh (như OpenAI GPT). Dù hiệu quả, cả hai mô hình này đều bị giới hạn bởi các mục tiêu mô hình hóa ngôn ngữ một chiều: các mô hình tự hồi quy tiêu chuẩn xử lý văn bản nghiêm ngặt từ trái sang phải (hoặc từ phải sang trái). Trong các mô hình một chiều, các token chỉ có thể chú ý đến các token đứng trước trong các tầng self-attention nhằm ngăn các từ tự "nhìn thấy chính nó" một cách tầm thường trên các ngữ cảnh nhiều tầng. ELMo đã nỗ lực tạo tính hai chiều bằng cách ghép nối nông các mạng LSTM huấn luyện riêng biệt từ trái sang phải và từ phải sang trái, nhưng cách này không nắm bắt được việc điều kiện hóa đồng thời, sâu sắc trên ngữ cảnh hai chiều ở mọi tầng. Bản chất một chiều này làm hạn chế các biểu diễn ở cấp độ câu và đặc biệt bất lợi cho các tác vụ xuôi dòng ở cấp độ token như trả lời câu hỏi, nơi việc hiểu đồng thời cả ngữ cảnh bên trái và bên phải là thiết yếu.

Ý tưởng cốt lõi

• Kiến trúc Transformer hai chiều sâu (Deep Bidirectional Transformer Architecture): BERT sử dụng bộ mã hóa Transformer hai chiều nhiều tầng, cho phép các tầng self-attention điều kiện hóa đồng thời trên cả ngữ cảnh trái và phải xuyên suốt tất cả các tầng.
• Masked Language Model (MLM): Lấy cảm hứng từ tác vụ Cloze, BERT ngẫu nhiên che đi 15% các token đầu vào và huấn luyện mô hình dự đoán các token bị che đó dựa trên ngữ cảnh xung quanh, giải quyết vấn đề tầm thường "tự nhìn thấy chính nó".
• Giảm thiểu sai lệch giữa tiền huấn luyện và tinh chỉnh: Vì token [MASK] không xuất hiện trong giai đoạn tinh chỉnh, 15% token được chọn sẽ được thay thế bằng [MASK] trong 80% trường hợp, một token ngẫu nhiên trong 10% trường hợp, và giữ nguyên không đổi trong 10% trường hợp còn lại.
• Next Sentence Prediction (NSP): Để nắm bắt mối quan hệ giữa các cặp câu vốn rất quan trọng đối với Suy luận ngôn ngữ tự nhiên (NLI) và Trả lời câu hỏi (QA), BERT được tiền huấn luyện trên một tác vụ nhị phân nhằm dự đoán liệu câu $B$ có tiếp nối câu $A$ một cách tự nhiên hay không ($IsNext$) hay chỉ là một câu ngẫu nhiên từ kho ngữ liệu ($NotNext$).
• Kiến trúc hợp nhất cho các tác vụ xuôi dòng: Toàn bộ kiến trúc tiền huấn luyện được tái sử dụng trực tiếp cho các tác vụ xuôi dòng với lượng tham số bổ sung tối thiểu (ví dụ: một đầu phân loại tuyến tính đơn giản hoặc các con trỏ chỉ vị trí bắt đầu/kết thúc đoạn trích).

Phương pháp

Cấu hình mô hình

BERT chủ yếu được đánh giá trên hai kích thước:

• ${\text{BERT}}_{\text{BASE}}$: $L=12$ tầng, kích thước ẩn $H=768$, $A=12$ đầu attention, tổng số tham số = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$: $L=24$ tầng, kích thước ẩn $H=1024$, $A=16$ đầu attention, tổng số tham số = $340\text{M}$. Kích thước bộ lọc feed-forward là $4H$.

Biểu diễn đầu vào và đầu ra

Đầu vào có thể đại diện cho một chuỗi văn bản đơn lẻ hoặc một cặp câu được ghép lại với nhau. Các embedding được xây dựng bằng cách cộng dồn:

1. Token embedding từ WordPiece (kích thước từ vựng 30,000 token).
2. Segment embedding (embedding học được nhằm xác định token thuộc về câu $A$ hay câu $B$).
3. Positional embedding được học.

Mỗi chuỗi đều bắt đầu bằng [CLS]. Vector ẩn cuối cùng $C\in {\mathbb{R}}^H$ của nó đóng vai trò là biểu diễn tổng hợp của chuỗi. Các cặp câu được phân tách bằng [SEP]. Các biểu diễn ẩn cuối cùng của từng token được ký hiệu là $T_i\in {\mathbb{R}}^H$.

Mục tiêu tiền huấn luyện

1. Masked LM: Với token bị che thứ $i$, biểu diễn $T_i$ được đưa vào một hàm softmax trên toàn bộ từ vựng với hàm mất mát cross-entropy: $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction: Vector tổng hợp $C$ được đưa vào bộ phân loại nhị phân: $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ Hàm mất mát tiền huấn luyện tổng thể là tổng của hợp lý trung bình của Masked LM và hợp lý trung bình của dự đoán câu tiếp theo.

Tùy biến cho giai đoạn tinh chỉnh (Fine-tuning)

• Phân loại (GLUE): Thêm một ma trận chiếu $W\in {\mathbb{R}}^{K\times H}$, mất mát được tính là $\log (\text{softmax}(C{W}^T))$.
• Trích xuất đoạn (Span Extraction - SQuAD v1.1): Học vector bắt đầu $S\in {\mathbb{R}}^H$ và vector kết thúc $E\in {\mathbb{R}}^H$. Xác suất để token $i$ là điểm bắt đầu của đoạn câu trả lời là: $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ Điểm số cho đoạn $(i,j)$ là $S\cdot T_i+E\cdot T_j$, được tối đa hóa trên điều kiện $j\ge i$.
• Câu hỏi không thể trả lời (SQuAD v2.0): Được mở rộng bằng cách cho phép token [CLS] đóng vai trò là đoạn câu trả lời rỗng (null), cho điểm số $s_{\text{null}}=S\cdot C+E\cdot C$, và chỉ dự đoán câu trả lời không rỗng khi ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$.

Kết quả

BERT đã được đánh giá trên 11 tác vụ NLP:

• Bảng xếp hạng GLUE: ${\text{BERT}}_{\text{LARGE}}$ đạt điểm GLUE trung bình là 80.5% (cải thiện tuyệt đối 7.7% so với mức state-of-the-art trước đó) và độ chính xác 86.7% trên MNLI (tăng 4.6% tuyệt đối).
• SQuAD v1.1: Mô hình đơn lẻ ${\text{BERT}}_{\text{LARGE}}$ đạt 84.1 EM và 90.9 F1 trên tập Dev; một mô hình ensemble kết hợp tiền huấn luyện trên TriviaQA đã đạt 87.4 EM và 93.2 F1 trên tập Test, vượt qua hiệu năng con người (82.3 EM / 91.2 F1).
• SQuAD v2.0: ${\text{BERT}}_{\text{LARGE}}$ đạt 80.0 EM và 83.1 F1 trên tập Test, vượt qua hệ thống tốt nhất trước đó +5.1 F1.
• SWAG: ${\text{BERT}}_{\text{LARGE}}$ đạt độ chính xác 86.3% trên tập Test, vượt trội hơn OpenAI GPT (78.0%) và baseline của chuyên gia con người (85.0%).
• Kết quả nghiên cứu loại trừ (Ablation): Việc loại bỏ NSP làm suy giảm hiệu năng trên MNLI (-0.5%), QNLI (-3.5%), và SQuAD F1 (-0.6%). Việc thay thế MLM bằng mô hình ngôn ngữ từ trái sang phải tiêu chuẩn (LTR LM) gây ra sự sụt giảm lớn trên SQuAD (-10.7 F1) và MRPC (-9.2% độ chính xác).

Hạn chế và các câu hỏi mở

• Sự khác biệt giữa tiền huấn luyện và tinh chỉnh: Token nhân tạo [MASK] không bao giờ xuất hiện trong giai đoạn tinh chỉnh, đòi hỏi các quy tắc heuristic thay thế (80/10/10) để giảm bớt sự không khớp này.
• Hiệu quả tiền huấn luyện: Vì BERT chỉ dự đoán 15% số token trên mỗi batch thay vì 100% số token như trong các mô hình tự hồi quy tiêu chuẩn, mô hình cần nhiều bước tiền huấn luyện hơn (1,000,000 bước với 128,000 token/batch) để hội tụ.
• Nghẽn cổ chai Attention bậc hai: Cơ chế attention tiêu chuẩn của Transformer mở rộng theo hàm bậc hai ($O(N^2)$) theo độ dài chuỗi, khiến các chuỗi dài trở nên tốn kém chi phí tính toán và buộc phải sử dụng chiến lược tiền huấn luyện hai giai đoạn (90% số bước ở độ dài chuỗi 128, 10% số bước ở độ dài 512).
• Không áp dụng trực tiếp cho sinh văn bản: Là một bộ mã hóa hai chiều, BERT được cấu trúc trực tiếp cho việc trích xuất biểu diễn và các tác vụ xuôi dòng dạng phân loại/phân biệt, không thể thực hiện trực tiếp việc sinh tự hồi quy từ trái sang phải nếu không sửa đổi kiến trúc.