Neural Machine Translation by Jointly Learning to Align and Translate

Guia de leitura

Problema e motivação

As arquiteturas padrão de tradução automática neural (NMT), como o RNN Encoder–Decoder básico, comprimem a totalidade de uma frase de origem de comprimento variável em um único vetor de comprimento fixo $c$. A partir desse vetor de contexto fixo, o decodificador gera a tradução de destino. Isso cria um gargalo informacional: conforme o comprimento da frase aumenta, comprimir toda a semântica de origem em uma representação de tamanho fixo torna-se cada vez mais difícil, fazendo com que a qualidade da tradução (pontuação BLEU) se deteriore significativamente em frases mais longas.

Ideias-chave

• Sequência de anotações em vez de um único vetor: Em vez de forçar o codificador a comprimir a frase inteira em um vetor, o modelo preserva uma sequência de vetores de estados ocultos (anotações) ao longo da frase de origem usando uma Rede Neural Recorrente Bidirecional (BiRNN).
• Mecanismo de alinhamento suave (Atenção): Em vez de tratar o alinhamento como uma variável discreta ou latente que exige extração heurística, o decodificador calcula um peso contínuo de "alinhamento suave" sobre as anotações de origem a cada passo de saída.
• Treinamento ponta a ponta diferenciável: Como o alinhamento é parametrizado como uma pequena rede neural feedforward, todo o sistema — codificador, mecanismo de atenção e decodificador — é treinado conjuntamente via retropropagação.

Método

1. Codificador (RNN Bidirecional)

A sequência de origem $\mathbf{x}=(x_1,\dots ,x_{T_x})$ é processada por uma RNN para frente $\overrightarrow{f}$ e uma RNN para trás $\overleftarrow{f}$ usando unidades ocultas com portas (gated hidden units): $${\overrightarrow{h}}_j=\overrightarrow{f}(x_j,{\overrightarrow{h}}_{j-1}),{\overleftarrow{h}}_j=\overleftarrow{f}(x_j,{\overleftarrow{h}}_{j+1})$$ A anotação para a palavra de origem $x_j$ concatena ambas as direções: $$h_j={\left[{\overrightarrow{h}}_j^{\top };{\overleftarrow{h}}_j^{\top }\right]}^{\top }$$

2. Decodificador com Soft Attention

Para gerar a palavra de destino $y_i$, o decodificador calcula um vetor de contexto distinto $c_i$ como uma soma ponderada das anotações do codificador: $$c_i=\sum _{j=1}^{T_x}{\alpha }_{ij}{h}_j$$ onde o peso de alinhamento ${\alpha }_{ij}$ é computado usando um softmax sobre os escores de energia $e_{ij}$: $${\alpha }_{ij}=\frac{\exp (e_{ij})}{{\sum }_{k=1}^{T_x}\exp (e_{ik})}$$ O escore de energia $e_{ij}$ representa o quão bem o estado do decodificador $s_{i-1}$ se alinha com a anotação de origem $h_j$ e é parametrizado como uma rede feedforward de camada única: $$e_{ij}=a(s_{i-1},h_j)=v_a^{\top }\tanh (W_a{s}_{i-1}+U_a{h}_j)$$ Aqui $s_{i-1}$ é o estado oculto do decodificador, atualizado via: $$s_i=f(s_{i-1},y_{i-1},c_i)$$ A distribuição de probabilidade da próxima palavra é condicionada ao estado atual, ao token anterior e ao contexto dinâmico: $$p(y_i\mid y_1,\dots ,y_{i-1},\mathbf{x})=g(y_{i-1},s_i,c_i)$$

Resultados

No benchmark WMT '14 de inglês para francês (news-test-2014, 3.003 frases):

• Robustez ao comprimento: Enquanto o encoder-decoder básico (RNNencdec-50) sofre uma queda severa no BLEU quando o comprimento da frase ultrapassa 30 palavras, o RNNsearch-50 mantém pontuações de BLEU consistentes mesmo além de 50 palavras.
• Qualidade da tradução:
  • Em todas as frases de teste, o RNNsearch-50 atinge 26,75 de BLEU (e 28,45 de BLEU quando treinado por mais tempo como RNNsearch-50*), superando o RNNencdec-50 (17,82 de BLEU).
  • Em frases sem palavras desconhecidas (No UNK), o RNNsearch-50* alcança 36,15 de BLEU, superando a linha de base convencional de tradução baseada em frases Moses (35,63 de BLEU), apesar de o Moses utilizar dados monolíngues adicionais (418 milhões de palavras).
• Visualizações de alinhamento: Mapas de calor de ${\alpha }_{ij}$ revelam alinhamentos linguísticos intuitivos, lidando de forma natural com reordenações de frases (por exemplo, a ordem substantivo-adjetivo do inglês para adjetivo-substantivo no francês) e expressões de múltiplas palavras.

Limitações e questões em aberto

• Complexidade computacional: A computação de $e_{ij}$ requer $O(T_x\times T_y)$ avaliações por par de frases, o que é computacionalmente caro para sequências muito longas.
• Tratamento de palavras raras/desconhecidas: O modelo depende de um vocabulário fixo (as 30.000 palavras mais frequentes), mapeando palavras fora do vocabulário para [UNK], o que prejudica o desempenho em conjuntos de teste abertos.
• Utilização de dados monolíngues: Ao contrário dos sistemas estatísticos baseados em frases, que aproveitam facilmente corpora monolíngues massivos do lado de destino por meio de modelos de linguagem separados, o NMT puramente ponta a ponta permaneceu limitado a dados paralelos.