Efficient Estimation of Word Representations in Vector Space

Разбор статьи

Проблема и мотивация

Традиционные системы NLP представляли слова в виде дискретных атомарных индексов, теряя присущие языку семантические и синтаксические взаимосвязи. Хотя распределенные представления слов, полученные с помощью нейросетевых языковых моделей (NNLM) или рекуррентных нейросетевых языковых моделей (RNNLM), существенно превосходили n-граммы, их вычислительная сложность препятствовала масштабированию. Предыдущие архитектуры редко обучались более чем на нескольких сотнях миллионов слов и обычно ограничивались размерностями векторов от $50$ до $100$.

В полносвязных моделях NNLM вычислительным узким местом являлись плотный нелинейный скрытый слой ($N\times D\times H$) и ненормализованный выходной слой словаря ($H\times V$). Цель данной работы — устранить узкое место в виде нелинейного скрытого слоя, позволив моделям масштабироваться до миллиардов токенов и словарей из миллионов слов, сохраняя при этом тонкие линейные взаимосвязи (например, $\text{vector}(\text{"King"})-\text{vector}(\text{"Man"})+\text{vector}(\text{"Woman"})\approx \text{vector}(\text{"Queen"})$).

Ключевые идеи

• Устранение нелинейностей скрытого слоя: Отказ от нелинейных функций активации кардинально снижает сложность обучения, позволяя масштабировать как размер корпуса, так и размерность эмбеддингов.
• Continuous Bag-of-Words (CBOW): Лог-линейный классификатор, предсказывающий целевое центральное слово по окружающим его словам контекста (как предшествующим, так и последующим). Векторы контекста усредняются в общем проекционном слое.
• Continuous Skip-gram: Лог-линейный классификатор, предсказывающий слова контекста в пределах окна исключительно по текущему центральному слову, при этом более удаленные слова сэмплируются реже.
• Hierarchical Softmax с кодированием Хаффмана: Вычислительная сложность нормализации softmax снижается с $V$ до приблизительно ${\log }_2(V)$ (или ${\log }_2(\text{Unigram\_perplexity}(V))$ за счет деревьев Хаффмана, которые присваивают более короткие коды частым словам).
• Бенчмарк для оценки аналогий: Новый тестовый набор из 19 544 вопросов, оценивающий синтаксические (например, сравнительная степень, прошедшее время) и семантические (например, столица — страна, валюта) языковые закономерности с использованием векторной арифметики и косинусного расстояния.

Метод (с ключевыми формулами)

Вычислительная сложность обучения определяется как количество обращений к параметрам за $E$ эпох при объеме обучающей выборки в $T$ слов и стоимости обработки одного примера $Q$: $$O=E\times T\times Q$$

Базовая модель Feedforward NNLM

Для контекста длины $N$, размерности эмбеддингов $D$, числа скрытых нейронов $H$ и размера словаря $V$: $$Q=N\times D+N\times D\times H+H\times V$$ При использовании hierarchical softmax затраты на выходном слое снижаются до $H\times {\log }_2(V)$, оставляя $N\times D\times H$ главным узким местом.

Базовая модель Recurrent Neural Net Language Model (RNNLM)

Когда размерность скрытого состояния $H$ равна размерности эмбеддинга $D$: $$Q=H\times H+H\times V$$ С hierarchical softmax член выходного слоя сокращается до $H\times {\log }_2(V)$, оставляя доминирующей операцию рекуррентного перехода $H\times H$.

Continuous Bag-of-Words (CBOW)

CBOW заменяет скрытый слой операцией усреднения в проекционном слое по $N$ словам контекста (обычно 4 предыдущих и 4 последующих слова): $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram принимает центральное слово и предсказывает контекстные слова на максимальном расстоянии $C$ (в экспериментах $C=10$). Для каждого слова смещение $R\in \{1,\dots ,C\}$ выбирается равномерно, предсказывая $R$ слов до и после него: $$Q=C\times (D+D\times {\log }_2(V))$$

Поиск аналогий

На вопросы вида «$A$ относится к $B$, как $C$ к $D$» ответ находится путем поиска вектора $X$ в словаре, максимизирующего: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Результаты (с ключевыми метриками)

• Качество на бенчмарке аналогий (640-D, 320 млн слов):
  • RNNLM: 9% семантические, 36% синтаксические.
  • NNLM: 23% семантические, 53% синтаксические.
  • CBOW: 24% семантические, 64% синтаксические.
  • Skip-gram: 55% семантические, 59% синтаксические.
• Масштабирование на Google News 6 млрд токенов (распределенное обучение DistBelief):
  • NNLM ($100$-D): 34,2% семантические, 64,5% синтаксические, 50,8% суммарно (потребовалось $14\times 180$ CPU-core дней).
  • CBOW ($1000$-D): 57,3% семантические, 68,9% синтаксические, 63,7% суммарно (потребовалось $2\times 140$ CPU-core дней).
  • Skip-gram ($1000$-D): 66,1% семантические, 65,1% синтаксические, 65,6% суммарно (потребовалось $2,5\times 125$ CPU-core дней).
• Microsoft Sentence Completion Challenge: Skip-gram самостоятельно показал точность 48,0%; в ансамбле с RNNLM он установил новый state-of-the-art уровень с результатом 58,9%.
• Соотношение эпох и объема данных: Обучение в течение 1 эпохи на удвоенном объеме данных дало результаты, сравнимые с обучением за 3 эпохи на меньшем объеме данных (или превосходящие их), при меньшем астрономическом времени обучения.

Ограничения и открытые вопросы

• Метрика строгого совпадения (Exact Match): Бенчмарк считает синонимы ошибками (например, вывод эквивалентного города или формы множественного числа), что устанавливает искусственный потолок точности ниже 100%.
• Отсутствие учета субсловной морфологии: Слова воспринимаются как неделимые токены; модель не использует информацию о морфемах или символах, что ограничивает ее синтаксическое обобщение на редких или флективных словах.
• Многословные фразы: Модель обрабатывает только изолированные слова-токены и изначально не поддерживает многословные выражения (например, «New York»).
• Качество в задаче Sentence Completion: Сам по себе Skip-gram набрал 48,0%, что уступает средней близости по LSA (49,0%) в бенчмарке Microsoft Sentence Completion, требуя объединения с моделями RNNLM для достижения сильных результатов.