Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Artigos · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Publicado em 2017-06-12cs.CLcs.LG arXiv PDF

Ler com tradução e IA

Resumo em três linhas

🎯 Modelos recorrentes processam sequencialmente as posições dos tokens, impedindo a paralelização dentro das sequências de treino e sofrendo com longos comprimentos de caminho.
🔧 Apresenta o Transformer, uma arquitetura codificador-decodificador baseada inteiramente em scaled dot-product multi-head self-attention e redes feed-forward aplicadas a cada posição.
📈 Alcança o estado da arte em tradução com 28,4 BLEU no WMT 2014 inglês-alemão e 41,8 BLEU no inglês-francês, treinando em 3,5 dias em 8 GPUs.

Resumo

Os modelos dominantes de transdução de sequências baseiam-se em redes neurais recorrentes ou convolucionais complexas em uma configuração codificador-decodificador. Os modelos de melhor desempenho também conectam o codificador e o decodificador por meio de um mecanismo de atenção. Propomos uma nova arquitetura de rede simples, o Transformer, baseada unicamente em mecanismos de atenção, dispensando inteiramente a recorrência e as convoluções. Experimentos em duas tarefas de tradução automática mostram que esses modelos são superiores em qualidade, sendo mais paralelizáveis e exigindo significativamente menos tempo de treinamento. Nosso modelo atinge 28,4 BLEU na tarefa de tradução inglês-alemão do WMT 2014, superando os melhores resultados existentes, incluindo ensembles, por mais de 2 BLEU. Na tarefa de tradução inglês-francês do WMT 2014, nosso modelo estabelece um novo estado da arte para modelos individuais com uma pontuação BLEU de 41,8 após treinamento por 3,5 dias em oito GPUs, uma pequena fração dos custos de treinamento dos melhores modelos da literatura. Mostramos que o Transformer generaliza bem para outras tarefas ao aplicá-lo com sucesso ao English constituency parsing tanto com dados de treinamento amplos quanto limitados.

Resumo original (inglês)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

Guia de leitura

Problema e motivação

As arquiteturas dominantes de transdução de sequências dependiam de redes neurais recorrentes (como LSTM ou GRU) ou redes neurais convolucionais organizadas em estruturas codificador-decodificador. Redes recorrentes computam inerentemente representações ocultas de forma sequencial ( $h_{t}$ condicionado a $h_{t - 1}$ e à entrada $t$ ), impedindo a paralelização ao longo dos passos temporais dentro dos exemplos de treino. Além disso, relacionar posições distantes em redes recorrentes exige $O (n)$ operações sequenciais, enquanto modelos convolucionais como ConvS2S e ByteNet exigem $O (n)$ ou $O (lo g_{k} (n))$ operações para conectar posições arbitrárias. Os autores buscaram construir uma arquitetura que dispensasse inteiramente recorrências e convoluções, permitindo paralelização completa ao longo do comprimento das sequências e reduzindo o comprimento máximo do caminho entre quaisquer dois tokens para $O (1)$ .

Ideias-chave

Arquitetura Pura de Atenção: Substitui conexões recorrentes inteiramente por mecanismos de atenção que mapeiam dependências diretamente entre todas as posições de uma sequência.
Scaled Dot-Product Attention: Dimensiona produtos escalares multiplicativos por $\frac{1}{d _{k}}$ para evitar que os valores de produto escalar fiquem excessivamente grandes em altas dimensões, o que empurraria as funções softmax para regiões com gradientes extremamente pequenos.
Multi-Head Attention: Projeta linearmente consultas (queries), chaves (keys) e valores (values) em múltiplos subespaços de representação de menor dimensão em paralelo, permitindo que a rede atenda simultaneamente a informações de diferentes posições e espaços de representação.
Positional Encoding: Como as operações de atenção são invariantes a permutações, funções senoidais fixas de frequências variadas são somadas aos embeddings de entrada e saída para codificar a ordenação dos tokens.

Método

O Transformer utiliza uma estrutura codificador-decodificador com $N = 6$ camadas idênticas empilhadas em cada um.

Codificador e Decodificador

Cada camada do codificador tem duas subcamadas: um mecanismo de multi-head self-attention e uma rede feed-forward totalmente conectada aplicada a cada posição (FFN). Conexões residuais e normalização de camada são aplicadas a cada subcamada: $LayerNorm (x + Sublayer (x))$ , operando sobre a dimensão $d_{model} = 512$ .

Cada camada do decodificador contém três subcamadas: masked multi-head self-attention (que mascara posições futuras para preservar a decodificação autorregressiva), multi-head cross-attention sobre as saídas da pilha do codificador e uma FFN aplicada a cada posição.

Formulação Matemática

A scaled dot-product attention sobre matrizes empacotadas $Q, K, V$ é calculada como: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

A multi-head attention combina $h$ projeções paralelas: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $onde head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ Para o modelo base, $h = 8$ e $d_{k} = d_{v} = d_{model} / h = 64$ .

A subcamada feed-forward aplicada a cada posição é executada de forma idêntica em cada posição: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ onde a dimensão da camada interna é $d_{ff} = 2048$ .

As codificações posicionais são definidas por funções de seno e cosseno: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

Resultados

WMT 2014 Inglês-Alemão: O Transformer (big) alcançou uma pontuação no estado da arte de 28,4 BLEU, superando modelos anteriores e ensembles por mais de 2,0 BLEU. O modelo base atingiu 27,3 BLEU utilizando $3, 3 \times 1 0^{18}$ FLOPs, uma fração do custo de arquiteturas anteriores.
WMT 2014 Inglês-Francês: O modelo big obteve 41,8 BLEU (modelo único), estabelecendo um novo estado da arte após 3,5 dias de treinamento em 8 GPUs NVIDIA P100 ( $2, 3 \times 1 0^{19}$ FLOPs).
English Constituency Parsing: Avaliado na Seção 23 do WSJ sem ajustes específicos para a tarefa, um Transformer de 4 camadas alcançou 91,3 $F_{1}$ no cenário discriminativo e 92,7 $F_{1}$ no cenário semissupervisionado, superando baselines de RNN.

Limitações e questões em aberto

A self-attention padrão tem uma complexidade computacional por camada de $O (n^{2} \cdot d)$ , o que se torna computacionalmente custoso para sequências $n$ muito longas.
A geração no decodificador permanece autorregressiva (gerando um token por vez sequencialmente), o que limita a latência de inferência.
O artigo aponta a necessidade de investigar vizinhanças de atenção locais ou restritas ( $r$ ) para processar contextos massivos de entrada e saída (por exemplo, imagens, áudio, vídeo) de forma eficiente.

Termos-chave

Transformer: Uma arquitetura de modelo de transdução de sequências baseada inteiramente em mecanismos de autoatenção (self-attention), sem recorrência ou convoluções.
Scaled Dot-Product Attention: Uma função de atenção em que os produtos escalares entre consultas e chaves são divididos pela raiz quadrada da dimensão da chave $d_{k}$ antes de computar uma softmax sobre os valores.
Multi-Head Attention: Um mecanismo de atenção que projeta consultas, chaves e valores em múltiplos subespaços de representação em paralelo antes de concatenar e projetar linearmente as saídas.
Self-Attention: Um mecanismo de atenção intra-sequência que relaciona diferentes posições de uma única sequência para calcular uma representação dessa sequência.
Positional Encoding: Representações vetoriais fixas ou aprendidas adicionadas aos embeddings de tokens para injetar informações sobre a ordem da sequência nas camadas de atenção, que são invariantes a permutações.
Residual Dropout: Dropout aplicado à saída de cada subcamada antes de adicioná-la à entrada da subcamada e aplicar a normalização de camada, bem como aos embeddings de tokens.
Label Smoothing: Uma técnica de regularização durante o treinamento com valor $ϵ_{l s} = 0, 1$ que penaliza previsões excessivamente confiantes, melhorando as pontuações de BLEU apesar de prejudicar a perplexidade.
Constituency Parsing: Uma tarefa sintática de PLN que exige saídas estruturalmente restritas e longas, utilizada para demonstrar a capacidade de generalização da arquitetura Transformer.

Perguntas

Por que a Scaled Dot-Product Attention divide por $\sqrt{d_k}$?

Para valores grandes de $d_{k}$ , os produtos escalares crescem muito em magnitude (sob a hipótese de média zero e variância unitária, o produto escalar tem variância $d_{k}$ ), empurrando a função softmax para regiões com gradientes extremamente pequenos. O escalonamento por $\frac{1}{d _{k}}$ neutraliza esse efeito.

Como o Transformer mantém a ordem dos tokens sem usar recorrência?

Ele soma encodings posicionais senoidais diretamente aos embeddings de entrada e saída na base das pilhas do codificador e do decodificador, atribuindo um padrão único baseado em frequência a cada posição de token.

O que impede as posições do decodificador de atenderem a tokens futuros durante o treino?

A subcamada de self-attention do decodificador utiliza mascaramento, definindo os valores correspondentes a conexões futuras ilegais como $- \infty$ na entrada da softmax.

Quais foram os requisitos de hardware e computação para o treinamento?

O modelo base foi treinado em uma única máquina com 8 GPUs NVIDIA P100 por 100.000 passos (12 horas a 0,4 segundos/passo). O modelo big foi treinado por 300.000 passos (3,5 dias a 1,0 segundo/passo).

A explicação desta página foi escrita por IA a partir do artigo e pode conter erros. Consulte o artigo para os detalhes.

Ler com tradução e IA