BERT: Pré-treinamento de Transformers Bidirecionais Profundos para Compreensão de Linguagem

Guia de leitura

Problema e motivação

Modelos anteriores de representação de linguagem baseavam-se em abordagens baseadas em atributos (como o ELMo) ou abordagens de fine-tuning (como o OpenAI GPT). Embora eficazes, ambos os paradigmas eram restritos por objetivos de modelagem de linguagem unidirecionais: modelos autorregressivos padrão processam o texto estritamente da esquerda para a direita (ou da direita para a esquerda). Em modelos unidirecionais, os tokens só podem prestar atenção aos tokens anteriores nas camadas de autoatenção para evitar que as palavras se "autoenxerguem" trivialmente através de contextos multicamadas. O ELMo tentou a bidirecionalidade concatenando superficialmente LSTMs treinadas separadamente da esquerda para a direita e da direita para a esquerda, mas isso não captura o condicionamento conjunto e profundo no contexto bidirecional em todas as camadas. Essa unidirecionalidade limita as representações em nível de sentença e é especialmente prejudicial para tarefas subsequentes em nível de token, como resposta a perguntas, onde compreender simultaneamente o contexto à esquerda e à direita é essencial.

Principais ideias

• Arquitetura Transformer Bidirecional Profunda: O BERT utiliza um codificador Transformer bidirecional multicamadas, permitindo que as camadas de autoatenção realizem o condicionamento conjunto nos contextos à esquerda e à direita em todas as camadas.
• Masked Language Model (MLM): Inspirado pela tarefa de Cloze, o BERT mascara aleatoriamente 15% dos tokens de entrada e treina o modelo para prever os tokens mascarados usando seu contexto, resolvendo o problema de trivialidade do token "se autoenxergar".
• Mitigação do Descompasso entre Pré-treinamento e Fine-tuning: Como os tokens [MASK] não aparecem durante o fine-tuning, os 15% de tokens selecionados são substituídos por [MASK] em 80% das vezes, por um token aleatório em 10% das vezes e mantidos inalterados nos 10% restantes.
• Next Sentence Prediction (NSP): Para capturar as relações entre pares de sentenças críticas para Inferência em Linguagem Natural (NLI) e Resposta a Perguntas (QA), o BERT é pré-treinado em uma tarefa binarizada que prevê se a sentença $B$ sucede naturalmente a sentença $A$ ($IsNext$) ou se é uma sentença aleatória do corpus ($NotNext$).
• Arquitetura Unificada para Tarefas Subsequentes: A mesma arquitetura pré-treinada é reutilizada para tarefas downstream com adição mínima de parâmetros (por exemplo, uma cabeça de classificação linear simples ou ponteiros de início/fim de trecho).

Método

Configuração do Modelo

O BERT é avaliado principalmente em dois tamanhos:

• ${\text{BERT}}_{\text{BASE}}$: $L=12$ camadas, tamanho oculto $H=768$, $A=12$ cabeças de atenção, parâmetros totais = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$: $L=24$ camadas, tamanho oculto $H=1024$, $A=16$ cabeças de atenção, parâmetros totais = $340\text{M}$. Os tamanhos dos filtros feed-forward são de $4H$.

Representações de Entrada e Saída

As entradas podem representar uma única sequência de texto ou um par de sentenças empacotadas juntas. Os embeddings são construídos pela soma de:

1. Embeddings de tokens WordPiece (vocabulário de 30.000 tokens).
2. Embeddings de segmento (embedding aprendido que identifica se um token pertence à sentença $A$ ou à sentença $B$).
3. Embeddings posicionais aprendidos.

Toda sequência começa com [CLS]. Seu vetor oculto final $C\in {\mathbb{R}}^H$ representa o agregado da sequência. Pares de sentenças são separados por [SEP]. As representações ocultas finais dos tokens são denotadas por $T_i\in {\mathbb{R}}^H$.

Objetivos de Pré-treinamento

1. Masked LM: Dado o token mascarado $i$, a representação $T_i$ é alimentada em uma camada softmax sobre o vocabulário com perda de entropia cruzada: $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction: O vetor agregado $C$ é alimentado em uma classificação binária: $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ A perda geral de pré-treinamento é a soma da verossimilhança média do masked LM e da verossimilhança média do next sentence prediction.

Adaptações para Fine-tuning

• Classificação (GLUE): Adicionando uma matriz de projeção $W\in {\mathbb{R}}^{K\times H}$, a perda é calculada como $\log (\text{softmax}(C{W}^T))$.
• Extração de Trecho (SQuAD v1.1): Aprendendo um vetor inicial $S\in {\mathbb{R}}^H$ e um vetor final $E\in {\mathbb{R}}^H$. A probabilidade de o token $i$ ser o início do trecho da resposta é: $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ A pontuação para o trecho $(i,j)$ é $S\cdot T_i+E\cdot T_j$, maximizada para $j\ge i$.
• Perguntas sem Resposta (SQuAD v2.0): Estendido permitindo que o token [CLS] sirva como o trecho de resposta nula, pontuando $s_{\text{null}}=S\cdot C+E\cdot C$, e prevendo uma resposta não nula apenas quando ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$.

Resultados

O BERT foi avaliado em 11 tarefas de PLN:

• Tabela de Classificação do GLUE: O ${\text{BERT}}_{\text{LARGE}}$ alcançou uma pontuação média no GLUE de 80,5% (uma melhoria absoluta de 7,7% em relação ao estado da arte anterior) e 86,7% de acurácia no MNLI (um ganho absoluto de 4,6%).
• SQuAD v1.1: O ${\text{BERT}}_{\text{LARGE}}$ obteve 84,1 de EM e 90,9 de F1 no conjunto Dev como modelo único; um ensemble com pré-treinamento no TriviaQA alcançou 87,4 de EM e 93,2 de F1 no conjunto de Teste, superando o desempenho humano (82,3 de EM / 91,2 de F1).
• SQuAD v2.0: O ${\text{BERT}}_{\text{LARGE}}$ alcançou 80,0 de EM e 83,1 de F1 no conjunto de Teste, superando o sistema líder anterior em +5,1 pontos de F1.
• SWAG: O ${\text{BERT}}_{\text{LARGE}}$ obteve acurácia de 86,3% no Teste, superando o OpenAI GPT (78,0%) e a linha de base de especialistas humanos (85,0%).
• Achados da Ablação: A remoção do NSP degradou o desempenho no MNLI (-0,5%), QNLI (-3,5%) e F1 do SQuAD (-0,6%). Substituir o MLM por um LM padrão da esquerda para a direita (LTR) causou grandes quedas no SQuAD (-10,7 de F1) e no MRPC (-9,2% de acurácia).

Limitações e questões em aberto

• Discrepância entre Pré-treinamento e Fine-tuning: O token artificial [MASK] nunca aparece durante o fine-tuning, exigindo regras heurísticas de substituição (80/10/10) para mitigar o descompasso.
• Eficiência do Pré-treinamento: Como o BERT prevê apenas 15% dos tokens por lote, em vez de 100% dos tokens como nos modelos autorregressivos padrão, ele requer mais passos de pré-treinamento (1.000.000 de passos com 128.000 tokens/lote) para convergir.
• Gargalo Quadrático da Atenção: A atenção padrão do Transformer escala quadraticamente ($O(N^2)$) com o comprimento da sequência, tornando sequências longas computacionalmente caras e exigindo uma estratégia de pré-treinamento em duas fases (90% dos passos com comprimento de sequência 128, 10% dos passos com 512).
• Inaplicabilidade à Geração de Texto: Como um codificador bidirecional, o BERT é estruturado diretamente para representação e tarefas downstream discriminativas, não podendo realizar diretamente a geração autorregressiva da esquerda para a direita sem modificações arquiteturais.