BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Разбор статьи

Проблема и мотивация

Предыдущие модели языковых представлений полагались либо на подходы на основе признаков (такие как ELMo), либо на подходы с дообучением (такие как OpenAI GPT). Будучи эффективными, обе парадигмы были ограничены однонаправленными целями языкового моделирования: стандартные авторегрессионные модели обрабатывают текст строго слева направо (или справа налево). В однонаправленных моделях токены могут обращать внимание только на предыдущие токены в слоях self-attention, чтобы слова тривиально «не видели самих себя» сквозь многослойные контексты. В ELMo была предпринята попытка достичь двунаправленности путем поверхностной конкатенации раздельно обученных сетей LSTM (слева направо и справа налево), однако это не позволяет захватить глубокую совместную обусловленность двунаправленным контекстом на каждом слое. Такая однонаправленность ограничивает представления на уровне предложений и особенно вредна для прикладных задач на уровне токенов, таких как ответы на вопросы, где одновременное понимание левого и правого контекстов критически важно.

Ключевые идеи

• Архитектура глубокого двунаправленного Transformer: BERT использует многослойный двунаправленный энкодер Transformer, позволяя слоям self-attention совместно опираться как на левый, так и на правый контекст на всех слоях.
• Masked Language Model (MLM): Вдохновленный тестом Клоза (Cloze), BERT случайным образом маскирует 15% входных токенов и обучает модель предсказывать замаскированные токены, используя их контекст, что решает проблему тривиального «видения самого себя».
• Сглаживание несоответствия между предобучением и дообучением: Поскольку токен [MASK] отсутствует на этапе fine-tuning, выбранные 15% токенов заменяются на [MASK] в 80% случаев, на случайный токен в 10% случаев и остаются неизменными в 10% случаев.
• Next Sentence Prediction (NSP): Чтобы улавливать отношения между парами предложений, критически важные для логического вывода на естественном языке (NLI) и вопросно-ответных систем (QA), BERT предварительно обучается на бинарной задаче: определить, следует ли предложение $B$ естественно за предложением $A$ ($IsNext$) или же это случайное предложение из корпуса ($NotNext$).
• Единая архитектура для прикладных задач: Абсолютно та же предварительно обученная архитектура повторно используется для прикладных задач с минимальным количеством добавленных параметров (например, простой линейный слой классификации или указатели начала/конца спана).

Метод

Конфигурация модели

BERT оценивается в основном в двух размерах:

• ${\text{BERT}}_{\text{BASE}}$: $L=12$ слоев, размер скрытого слоя $H=768$, $A=12$ голов внимания, общее количество параметров = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$: $L=24$ слоя, размер скрытого слоя $H=1024$, $A=16$ голов внимания, общее количество параметров = $340\text{M}$. Размер фильтров в полносвязных слоях составляет $4H$.

Представления входов и выходов

Входные данные могут представлять собой одну текстовую последовательность или объединенную пару предложений. Эмбеддинги строятся путем суммирования:

1. Токенных эмбеддингов WordPiece (словарь из 30 000 токенов).
2. Сегментных эмбеддингов (обучаемый эмбеддинг, определяющий, относится ли токен к предложению $A$ или к предложению $B$).
3. Обучаемых позиционных эмбеддингов.

Каждая последовательность начинается с токена [CLS]. Его финальный скрытый вектор $C\in {\mathbb{R}}^H$ представляет собой агрегированное состояние всей последовательности. Пары предложений разделяются токеном [SEP]. Финальные скрытые представления токенов обозначаются как $T_i\in {\mathbb{R}}^H$.

Задачи предварительного обучения

1. Masked LM: Для замаскированного токена $i$ представление $T_i$ подается в слой softmax по всему словарю с функцией потерь cross-entropy: $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction: Агрегированный вектор $C$ подается в модуль бинарной классификации: $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ Общая функция потерь предобучения представляет собой сумму среднего правдоподобия masked LM и среднего правдоподобия next sentence prediction.

Адаптация при дообучении (Fine-tuning)

• Классификация (GLUE): Добавляется матрица проекции $W\in {\mathbb{R}}^{K\times H}$, функция потерь вычисляется как $\log (\text{softmax}(C{W}^T))$.
• Извлечение спанов (SQuAD v1.1): Обучаются вектор начала $S\in {\mathbb{R}}^H$ и вектор конца $E\in {\mathbb{R}}^H$. Вероятность того, что токен $i$ является началом спана ответа, равна: $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ Оценка для спана $(i,j)$ равна $S\cdot T_i+E\cdot T_j$, которая максимизируется при условии $j\ge i$.
• Вопросы без ответа (SQuAD v2.0): Задача расширяется за счет использования токена [CLS] в качестве пустого спана ответа со скором $s_{\text{null}}=S\cdot C+E\cdot C$; непустой ответ предсказывается только тогда, когда ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$.

Результаты

BERT был протестирован на 11 задачах NLP:

• Лидерборд GLUE: ${\text{BERT}}_{\text{LARGE}}$ достиг среднего результата на GLUE в 80,5% (абсолютное улучшение на 7,7% по сравнению с предыдущим state of the art) и точности 86,7% на MNLI (абсолютный прирост на 4,6%).
• SQuAD v1.1: ${\text{BERT}}_{\text{LARGE}}$ достиг 84,1 EM и 90,9 F1 на валидационной выборке (Dev) как отдельная модель; ансамбль с предварительным обучением на TriviaQA достиг 87,4 EM и 93,2 F1 на тестовой выборке (Test), превзойдя уровень человека (82,3 EM / 91,2 F1).
• SQuAD v2.0: ${\text{BERT}}_{\text{LARGE}}$ показал 80,0 EM и 83,1 F1 на тестовой выборке, превзойдя предыдущую лучшую систему на +5,1 F1.
• SWAG: ${\text{BERT}}_{\text{LARGE}}$ набрал точность 86,3% на тесте, превзойдя OpenAI GPT (78,0%) и базовый уровень экспертов-людей (85,0%).
• Результаты абляционных исследований (Ablation): Удаление NSP ухудшило результаты на MNLI (-0,5%), QNLI (-3,5%) и F1 на SQuAD (-0,6%). Замена MLM на стандартную языковую модель LTR (слева направо) привела к значительному падению метрик на SQuAD (-10,7 F1) и MRPC (-9,2% точности).

Ограничения и открытые вопросы

• Несоответствие между предобучением и дообучением: Искусственный токен [MASK] никогда не встречается во время дообучения, что требует эвристических правил замены (80/10/10) для уменьшения этого расхождения.
• Эффективность предварительного обучения: Поскольку BERT предсказывает только 15% токенов в батче вместо 100% токенов, как в стандартных авторегрессионных моделях, ему требуется больше шагов предобучения (1 000 000 шагов при 128 000 токенах в батче) для сходимости.
• Квадратичное узкое место внимания: Вычислительная сложность механизма внимания стандартного Transformer растет квадратично ($O(N^2)$) от длины последовательности, что делает работу с длинными последовательностями ресурсоемкой и требует двухфазного графика предобучения (90% шагов с длиной последовательности 128, 10% шагов — с длиной 512).
• Неприменимость к генерации текста: Являясь двунаправленным энкодером, BERT напрямую структурирован для представлений и дискриминативных задач и не способен напрямую выполнять авторегрессионную генерацию слева направо без изменения архитектуры.