Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Статьи · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Опубликовано 2017-06-12cs.CLcs.LG arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Рекуррентные модели выполняются последовательно по позициям токенов, что препятствует параллелизации обучающих последовательностей и затрудняет моделирование длинных контекстов.
🔧 Представлен Transformer — архитектура типа encoder-decoder, полностью основанная на scaled dot-product multi-head self-attention и поэлементных сетях прямого распространения.
📈 Достигнуто передовое качество перевода с 28.4 BLEU на WMT 2014 English-to-German и 41.8 BLEU на English-to-French при обучении за 3.5 дня на 8 GPU.

Аннотация

Доминирующие модели преобразования последовательностей основаны на сложных рекуррентных или сверточных нейронных сетях в архитектуре encoder-decoder. Наиболее эффективные модели также соединяют энкодер и декодер с помощью механизма внимания. Мы предлагаем новую простую сетевую архитектуру — Transformer, основанную исключительно на механизмах внимания и полностью отказывающуюся от рекуррентности и сверток. Эксперименты на двух задачах машинного перевода показывают, что эти модели превосходят аналоги по качеству, лучше параллелятся и требуют значительно меньше времени на обучение. Наша модель достигает 28.4 BLEU в задаче перевода с английского на немецкий на WMT 2014, улучшая лучшие существующие результаты, включая ансамбли, более чем на 2 BLEU. На задаче перевода с английского на французский на WMT 2014 наша модель устанавливает новый рекорд качества для одиночных моделей — 41.8 BLEU после обучения в течение 3.5 дней на восьми GPU, что составляет лишь малую часть вычислительных затрат лучших моделей из литературы. Мы также показываем, что Transformer отлично обобщается на другие задачи, успешно применив его к синтаксическому анализу составляющих английского языка (constituency parsing) как на больших, так и на ограниченных обучающих данных.

Оригинальная аннотация (англ.)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

Разбор статьи

Проблема и мотивация

Доминирующие архитектуры преобразования последовательностей опирались на рекуррентные нейронные сети (такие как LSTM или GRU) или сверточные нейронные сети, организованные по схеме encoder-decoder. Рекуррентные сети по своей природе вычисляют скрытые представления последовательно ( $h_{t}$ зависит от $h_{t - 1}$ и входа $t$ ), что препятствует параллелизации по временным шагам внутри обучающих примеров. Кроме того, связь удаленных позиций в рекуррентных сетях требует $O (n)$ последовательных операций, в то время как сверточные модели, такие как ConvS2S и ByteNet, требуют $O (n)$ или $O (lo g_{k} (n))$ операций для соединения произвольных позиций. Авторы стремились создать архитектуру, полностью исключающую рекуррентность и свертки, что обеспечивает полную параллелизацию по длине последовательности и сокращает максимальную длину пути между любыми двумя токенами до $O (1)$ .

Ключевые идеи

Архитектура на основе чистого внимания: Полная замена рекуррентных связей механизмами внимания, которые напрямую моделируют зависимости между всеми позициями в последовательности.
Scaled Dot-Product Attention: Масштабирование скалярных произведений на $\frac{1}{d _{k}}$ для предотвращения чрезмерного роста их значений в пространствах высокой размерности, что приводило бы к попаданию функции softmax в области с исчезающе малыми градиентами.
Multi-Head Attention: Линейное параллельное проецирование запросов, ключей и значений в несколько подпространств представлений меньшей размерности, что позволяет сети одновременно обращать внимание на информацию из разных позиций и разных подпространств.
Positional Encoding: Поскольку операции внимания инвариантны к перестановкам, к входным и выходным эмбеддингам добавляются фиксированные синусоидальные функции различных частот для кодирования порядка следования токенов.

Метод

Transformer использует архитектуру encoder-decoder со стеком из $N = 6$ идентичных слоев в каждом блоке.

Энкодер и декодер

Каждый слой энкодера состоит из двух подслоев: механизма multi-head self-attention и поэлементной полносвязной сети прямого распространения (FFN). К каждому подслою применяются остаточные связи (residual connections) и нормализация слоя: $LayerNorm (x + Sublayer (x))$ , работающие с размерностью $d_{model} = 512$ .

Каждый слой декодера содержит три подслоя: маскированный multi-head self-attention (который маскирует будущие позиции для сохранения авторегрессионного режима генерации), multi-head cross-attention по выходам стека энкодера и поэлементную FFN.

Математическая формулировка

Масштабированное скалярное внимание (Scaled dot-product attention) на упакованных матрицах $Q, K, V$ вычисляется следующим образом: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

Многоголовое внимание (Multi-head attention) объединяет $h$ параллельных проекций: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $где head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ Для базовой модели $h = 8$ и $d_{k} = d_{v} = d_{model} / h = 64$ .

Поэлементный подслой прямого распространения применяется одинаково к каждой позиции: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ где размерность внутреннего слоя составляет $d_{ff} = 2048$ .

Позиционные эмбеддинги определяются функциями синуса и косинуса: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

Результаты

WMT 2014 English-to-German: Transformer (big) достиг передового результата 28.4 BLEU, превзойдя предыдущие модели и ансамбли более чем на 2.0 BLEU. Базовая модель показала результат 27.3 BLEU, затратив $3.3 \times 1 0^{18}$ FLOPs — малую часть ресурсов, требовавшихся прежним архитектурам.
WMT 2014 English-to-French: Большая модель достигла 41.8 BLEU (одиночная модель), установив новый рекорд после 3.5 дней обучения на 8 GPU NVIDIA P100 ( $2.3 \times 1 0^{19}$ FLOPs).
English Constituency Parsing: При оценке на WSJ Section 23 без специализированной настройки под задачу 4-слойный Transformer достиг 91.3 $F_{1}$ в дискриминативной постановке и 92.7 $F_{1}$ при полуавтоматическом обучении (semi-supervised), превзойдя базовые модели на основе RNN.

Ограничения и открытые вопросы

Стандартный механизм self-attention имеет вычислительную сложность $O (n^{2} \cdot d)$ на слой, что создает высокую вычислительную нагрузку для очень длинных последовательностей $n$ .
Генерация в декодере остается авторегрессионной (последовательное создание одного токена за другим), что ограничивает скорость инференса.
В статье подчеркивается необходимость исследования локальных или ограниченных окрестностей внимания ( $r$ ) для эффективной обработки массивных входных и выходных контекстов (например, изображений, аудио, видео).

Ключевые термины

Transformer: Архитектура модели преобразования последовательностей, основанная исключительно на механизмах внутреннего внимания (self-attention) без использования рекуррентности или сверток.
Scaled Dot-Product Attention: Функция внимания, в которой скалярные произведения запросов и ключей делятся на квадратный корень из размерности ключа $d_{k}$ перед вычислением softmax по значениям.
Multi-Head Attention: Механизм внимания, который параллельно проецирует запросы, ключи и значения в несколько подпространств представлений перед конкатенацией и проекцией результатов.
Self-Attention: Механизм внутрипоследовательностного внимания, который связывает различные позиции одной последовательности для вычисления ее представления.
Positional Encoding: Фиксированные или обучаемые векторные представления, добавляемые к эмбеддингам токенов для передачи информации о порядке следования элементов в инвариантные к перестановкам слои внимания.
Residual Dropout: Метод dropout, применяемый к выходу каждого подслоя перед его сложением со входом подслоя и выполнением нормализации слоя, а также к эмбеддингам токенов.
Label Smoothing: Метод регуляризации при обучении со значением $ϵ_{l s} = 0.1$ , штрафующий чрезмерную уверенность предсказаний, что улучшает метрику BLEU, несмотря на некоторое ухудшение перплексии.
Constituency Parsing: Синтаксическая задача NLP, требующая длинных и структурно ограниченных целевых выходов; использовалась для демонстрации обобщающей способности архитектуры Transformer.

Вопросы

Почему в Scaled Dot-Product Attention происходит деление на $\sqrt{d_k}$?

При больших значениях $d_{k}$ скалярные произведения сильно возрастают по величине (в предположении нулевого среднего и единичной дисперсии дисперсия скалярного произведения равна $d_{k}$ ), смещая функцию softmax в области с экстремально малыми градиентами. Масштабирование на $\frac{1}{d _{k}}$ нейтрализует этот эффект.

Как Transformer сохраняет порядок токенов без использования рекуррентности?

Он добавляет синусоидальные позиционные эмбеддинги (positional encodings) непосредственно к входным и выходным представлениям в нижней части стеков энкодера и декодера, задавая уникальный частотный паттерн для каждой позиции токена.

Что мешает позициям декодера обращать внимание на будущие токены во время обучения?

Подслой self-attention декодера использует маскирование, которое устанавливает значения, соответствующие недопустимым будущим связям, во входе softmax равными $- \infty$ .

Каковы были требования к оборудованию и вычислительным ресурсам для обучения?

Базовая модель обучалась на одной машине с 8 GPU NVIDIA P100 в течение 100 000 шагов (12 часов со скоростью 0.4 секунды на шаг). Большая модель обучалась в течение 300 000 шагов (3.5 дня со скоростью 1.0 секунда на шаг).

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ