Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Bài báo · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Xuất bản 2017-06-12cs.CLcs.LG arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Các mô hình hồi quy xử lý tuần tự theo từng vị trí token, cản trở việc song song hóa trong chuỗi huấn luyện và gặp khó khăn với độ dài đường dẫn tầm xa.
🔧 Giới thiệu Transformer, kiến trúc encoder-decoder dựa hoàn toàn trên scaled dot-product multi-head self-attention và mạng truyền thẳng theo từng vị trí (position-wise feed-forward networks).
📈 Đạt kết quả dịch thuật SOTA với 28.4 BLEU trên WMT 2014 Anh-Đức và 41.8 BLEU trên Anh-Pháp, chỉ cần huấn luyện trong 3.5 ngày trên 8 GPU.

Tóm tắt

Các mô hình chuyển đổi chuỗi phổ biến hiện nay chủ yếu dựa trên các mạng nơ-ron hồi quy hoặc tích chập phức tạp theo cấu trúc encoder-decoder. Những mô hình đạt hiệu năng tốt nhất còn kết nối encoder và decoder thông qua cơ chế attention. Chúng tôi đề xuất một kiến trúc mạng mới đơn giản hơn, Transformer, hoàn toàn dựa trên các cơ chế attention và loại bỏ hoàn toàn hồi quy cũng như tích chập. Các thử nghiệm trên hai tác vụ dịch máy cho thấy những mô hình này vượt trội về chất lượng, đồng thời có khả năng song song hóa cao hơn và rút ngắn đáng kể thời gian huấn luyện. Mô hình của chúng tôi đạt 28.4 BLEU trên tác vụ dịch Anh-Đức WMT 2014, cải thiện hơn 2 BLEU so với các kết quả tốt nhất hiện có, bao gồm cả các mô hình ensemble. Trên tác vụ dịch Anh-Pháp WMT 2014, mô hình thiết lập điểm BLEU đơn mô hình ở trạng thái SOTA mới là 41.8 sau khi huấn luyện trong 3.5 ngày trên 8 GPU, chỉ bằng một phần nhỏ chi phí huấn luyện so với các mô hình tốt nhất trong y văn. Chúng tôi cũng chứng minh Transformer có khả năng tổng quát hóa tốt cho các tác vụ khác khi áp dụng thành công vào bài toán phân tích cú pháp thành phần tiếng Anh (constituency parsing) trên cả tập dữ liệu huấn luyện lớn và hạn chế.

Tóm tắt gốc (tiếng Anh)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

Hướng dẫn đọc

Vấn đề và động lực

Các kiến trúc chuyển đổi chuỗi áp đảo trước đây dựa vào mạng nơ-ron hồi quy (như LSTM hoặc GRU) hoặc mạng nơ-ron tích chập được tổ chức theo cấu trúc encoder-decoder. Các mạng hồi quy về bản chất tính toán các biểu diễn ẩn một cách tuần tự ( $h_{t}$ phụ thuộc vào $h_{t - 1}$ và đầu vào $t$ ), ngăn cản việc song song hóa qua các bước thời gian trong cùng mẫu huấn luyện. Hơn nữa, việc liên kết các vị trí xa nhau trong mạng hồi quy đòi hỏi $O (n)$ phép toán tuần tự, trong khi các mô hình tích chập như ConvS2S và ByteNet cần $O (n)$ hoặc $O (lo g_{k} (n))$ phép toán để kết nối các vị trí tùy ý. Các tác giả nhằm mục đích xây dựng một kiến trúc loại bỏ hoàn toàn tính hồi quy và tích chập, cho phép song song hóa toàn diện trên toàn bộ chiều dài chuỗi, đồng thời giảm độ dài đường dẫn tối đa giữa hai token bất kỳ xuống còn $O (1)$ .

Ý tưởng cốt lõi

Kiến trúc thuần Attention: Thay thế hoàn toàn các kết nối hồi quy bằng các cơ chế attention giúp ánh xạ trực tiếp các phụ thuộc giữa mọi vị trí trong một chuỗi.
Scaled Dot-Product Attention: Chia tích vô hướng cho $\frac{1}{d _{k}}$ để ngăn các giá trị tích vô hướng tăng quá lớn ở số chiều cao, điều vốn đẩy hàm softmax vào các vùng có gradient cực kỳ nhỏ.
Multi-Head Attention: Chiếu tuyến tính queries, keys, và values vào nhiều không gian con biểu diễn có số chiều thấp hơn một cách song song, cho phép mạng đồng thời chú ý đến thông tin từ các vị trí và không gian biểu diễn khác nhau.
Mã hóa vị trí (Positional Encoding): Vì các phép toán attention có tính bất biến với hoán vị, các hàm hình sin cố định với tần số khác nhau được cộng vào vector nhúng đầu vào và đầu ra để mã hóa thứ tự của token.

Phương pháp

Transformer sử dụng khung encoder-decoder với $N = 6$ lớp giống nhau xếp chồng lên nhau ở mỗi phần.

Encoder và Decoder

Mỗi lớp encoder có hai lớp con: cơ chế multi-head self-attention và mạng truyền thẳng fully connected theo từng vị trí (FFN). Các kết nối phần dư (residual connections) và chuẩn hóa lớp (layer normalization) được áp dụng cho từng lớp con: $LayerNorm (x + Sublayer (x))$ , hoạt động trên chiều $d_{model} = 512$ .

Mỗi lớp decoder chứa ba lớp con: masked multi-head self-attention (che đi các vị trí tương lai để duy trì quá trình giải mã tự hồi quy), multi-head cross-attention trên đầu ra của chồng encoder, và một FFN theo từng vị trí.

Công thức toán học

Scaled dot-product attention trên các ma trận $Q, K, V$ được tính bằng: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

Multi-head attention kết hợp $h$ phép chiếu song song: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $trong đ \overset{o}{ˊ} head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ Đối với mô hình cơ sở (base model), $h = 8$ và $d_{k} = d_{v} = d_{model} / h = 64$ .

Lớp con truyền thẳng theo từng vị trí được áp dụng đồng nhất cho mỗi vị trí: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ trong đó số chiều của lớp bên trong là $d_{ff} = 2048$ .

Mã hóa vị trí được xác định bởi các hàm sin và cosin: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

Kết quả

WMT 2014 Anh-Đức: Mô hình Transformer (big) đạt điểm số SOTA là 28.4 BLEU, vượt trội hơn các mô hình trước đó và các hệ thống ensemble hơn 2.0 BLEU. Mô hình cơ sở đạt 27.3 BLEU với $3.3 \times 1 0^{18}$ FLOPs, chỉ bằng một phần nhỏ chi phí của các kiến trúc trước đây.
WMT 2014 Anh-Pháp: Mô hình lớn đạt 41.8 BLEU (mô hình đơn), thiết lập mức SOTA mới sau 3.5 ngày huấn luyện trên 8 GPU NVIDIA P100 ( $2.3 \times 1 0^{19}$ FLOPs).
Phân tích cú pháp thành phần tiếng Anh (English Constituency Parsing): Được đánh giá trên WSJ Section 23 mà không cần tinh chỉnh đặc thù cho tác vụ, Transformer 4 lớp đạt 91.3 $F_{1}$ trong thiết lập phân biệt (discriminative) và 92.7 $F_{1}$ trong thiết lập bán giám sát, vượt qua các baseline RNN.

Hạn chế và các câu hỏi mở

Self-attention tiêu chuẩn có độ phức tạp tính toán trên mỗi lớp là $O (n^{2} \cdot d)$ , trở nên rất tốn kém tài nguyên tính toán đối với các chuỗi $n$ rất dài.
Quá trình sinh ở decoder vẫn mang tính tự hồi quy (sinh tuần tự từng token một), giới hạn độ trễ khi suy luận.
Bài báo lưu ý sự cần thiết phải nghiên cứu các vùng lân cận attention cục bộ hoặc bị hạn chế ( $r$ ) để xử lý hiệu quả các ngữ cảnh đầu vào và đầu ra cực lớn (ví dụ: hình ảnh, âm thanh, video).

Thuật ngữ chính

Transformer: Một kiến trúc mô hình chuyển đổi chuỗi dựa hoàn toàn trên các cơ chế self-attention mà không cần hồi quy hay tích chập.
Scaled Dot-Product Attention: Một hàm attention trong đó tích vô hướng của queries và keys được chia cho căn bậc hai của số chiều key $d_{k}$ trước khi tính softmax trên values.
Multi-Head Attention: Cơ chế attention chiếu queries, keys, và values vào nhiều không gian con biểu diễn song song trước khi nối và chiếu các đầu ra.
Self-Attention: Một cơ chế attention nội chuỗi liên kết các vị trí khác nhau của cùng một chuỗi đơn lẻ để tính toán biểu diễn của chính chuỗi đó.
Positional Encoding: Các biểu diễn vector cố định hoặc học được cộng vào vector nhúng token để đưa thông tin thứ tự chuỗi token vào các lớp attention bất biến với hoán vị.
Residual Dropout: Kỹ thuật dropout được áp dụng cho đầu ra của từng lớp con trước khi cộng vào đầu vào lớp con và áp dụng chuẩn hóa lớp, cũng như áp dụng cho các vector nhúng token.
Label Smoothing: Một kỹ thuật điều chuẩn trong quá trình huấn luyện với giá trị $ϵ_{l s} = 0.1$ nhằm phạt các dự đoán quá tự tin, giúp cải thiện điểm BLEU dù làm giảm độ phức tạp perplexity.
Constituency Parsing: Một tác vụ NLP cú pháp đòi hỏi các đầu ra mục tiêu dài và bị ràng buộc về mặt cấu trúc, được dùng để chứng minh khả năng tổng quát hóa của kiến trúc Transformer.

Câu hỏi thường gặp

Tại sao Scaled Dot-Product Attention lại chia cho $\sqrt{d_k}$?

Với các giá trị $d_{k}$ lớn, tích vô hướng sẽ tăng mạnh về độ lớn (dưới giả định kỳ vọng bằng 0 và phương sai bằng 1, tích vô hướng có phương sai là $d_{k}$ ), đẩy hàm softmax vào các vùng có gradient cực kỳ nhỏ. Việc chia tỉ lệ với $\frac{1}{d _{k}}$ giúp triệt tiêu hiệu ứng này.

Transformer duy trì thứ tự token như thế nào khi không dùng hồi quy?

Nó cộng trực tiếp mã hóa vị trí hình sin (sinusoidal positional encodings) vào các vector nhúng đầu vào và đầu ra ở đáy của các chồng encoder và decoder, gán một mẫu dựa trên tần số duy nhất cho từng vị trí token.

Điều gì ngăn các vị trí decoder chú ý đến các token tương lai trong quá trình huấn luyện?

Lớp con self-attention của decoder sử dụng cơ chế masking, đặt các giá trị trong đầu vào softmax tương ứng với các liên kết tương lai không hợp lệ thành $- \infty$ .

Yêu cầu phần cứng và tài nguyên tính toán để huấn luyện là gì?

Mô hình cơ sở được huấn luyện trên một máy duy nhất với 8 GPU NVIDIA P100 trong 100.000 bước (12 giờ với tốc độ 0.4 giây/bước). Mô hình lớn được huấn luyện trong 300.000 bước (3.5 ngày với tốc độ 1.0 giây/bước).

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI