BERT: 言語理解のための深層双方向Transformerの事前学習

論文解説

問題設定と動機

従来の言語表現モデルは、特徴量ベースのアプローチ（ELMoなど）またはファインチューニングアプローチ（OpenAI GPTなど）のいずれかに依存していました。いずれも有効ではあったものの、単方向の言語モデリング目的に制限されていました。標準的な自己回帰モデルはテキストを厳密に左から右（または右から左）に処理します。単方向モデルでは、複数層のコンテキストにわたって単語が自らを自明に「参照してしまう」のを防ぐため、自己注意（self-attention）層で先行するトークンにしか注意を向けられません。ELMoは個別に学習された左右両方向のLSTMを浅く連結することで双方向性を実現しようと試みましたが、すべての層で双方向コンテキストを深く結合して条件付けることはできませんでした。この単方向性は文レベルの表現を制限し、左右のコンテキストを同時に理解することが不可欠な質問応答などのトークンレベルの下流タスクでは特に悪影響を及ぼします。

主要なアイデア

• 深層双方向Transformerアーキテクチャ: BERTは多層双方向Transformerエンコーダを採用しており、自己注意層がすべての層にわたって左右両方のコンテキストを結合して条件付けることを可能にしています。
• Masked Language Model (MLM): Clozeテストに着想を得て、BERTは入力トークンの15%をランダムにマスクし、そのコンテキストを用いてマスクされたトークンを予測するようにモデルを学習することで、自らを参照してしまう問題を解決しています。
• 事前学習とファインチューニングの不一致の緩和: ファインチューニング中には[MASK]トークンが出現しないため、選ばれた15%のトークンのうち80%を[MASK]に置き換え、10%をランダムなトークンに置き換え、残りの10%をそのまま保持します。
• Next Sentence Prediction (NSP): 自然言語推論（NLI）や質問応答（QA）に重要な文ペアの関係性を捉えるため、文$B$が文$A$の自然な続きであるか（$IsNext$）、コーパスからランダムに選ばれた文であるか（$NotNext$）を予測する2値分類タスクで事前学習を行います。
• 下流タスク向けの統合アーキテクチャ: 下流タスクには、最小限の追加パラメータ（単純な線形分類ヘッドやスパンの開始/終了ポインタなど）のみを加え、事前学習済みのアーキテクチャをそのまま再利用します。

手法

モデル設定

BERTは主に2つのサイズで評価されています：

• ${\text{BERT}}_{\text{BASE}}$: 層数 $L=12$、隠れ層サイズ $H=768$、アテンションヘッド数 $A=12$、総パラメータ数 = $110\text{M}$。
• ${\text{BERT}}_{\text{LARGE}}$: 層数 $L=24$、隠れ層サイズ $H=1024$、アテンションヘッド数 $A=16$、総パラメータ数 = $340\text{M}$。 フィードフォワードネットワークのフィルタサイズは$4H$です。

入出力表現

入力は単一のテキストシーケンス、または2つの文を1つにパックしたペアを表現できます。埋め込みは以下の3つを合算して構築されます：

1. WordPieceトークン埋め込み（30,000トークンの語彙）。
2. セグメント埋め込み（トークンが文$A$由来か文$B$由来かを識別する学習済み埋め込み）。
3. 学習済み位置埋め込み。

すべてのシーケンスの先頭には[CLS]が付与されます。その最終隠れ層ベクトル$C\in {\mathbb{R}}^H$はシーケンス全体の集約表現となります。文ペアは[SEP]で区切られます。各トークンの最終隠れ表現は$T_i\in {\mathbb{R}}^H$と表記されます。

事前学習の目的関数

1. Masked LM: マスクされたトークン$i$について、表現$T_i$を語彙全体のソフトマックス関数と交差エントロピー損失に入力します： $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction: 集約ベクトル$C$を2値分類に入力します： $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ 全体の事前学習損失は、平均マスクLM対数尤度と平均次文予測対数尤度の合計となります。

ファインチューニングの適用方法

• 分類（GLUE）: 射影行列$W\in {\mathbb{R}}^{K\times H}$を追加し、損失は$\log (\text{softmax}(C{W}^T))$として計算されます。
• スパン抽出（SQuAD v1.1）: 開始ベクトル$S\in {\mathbb{R}}^H$と終了ベクトル$E\in {\mathbb{R}}^H$を学習します。トークン$i$が回答スパンの開始である確率は次の通りです： $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ スパン$(i,j)$のスコアは$S\cdot T_i+E\cdot T_j$となり、$j\ge i$の範囲で最大化されます。
• 回答不能な質問（SQuAD v2.0）: [CLS]トークンを無回答スパンとして機能させ、スコア$s_{\text{null}}=S\cdot C+E\cdot C$を算出し、${\hat{s}}_{i,j}>s_{\text{null}}+\tau$のときにのみ有効な回答を予測するように拡張します。

結果

BERTは11のNLPタスクで評価されました：

• GLUE リーダーボード: ${\text{BERT}}_{\text{LARGE}}$は平均GLUEスコア80.5%（従来のSOTAに対して絶対値で7.7%の改善）およびMNLIで86.7%の正解率（4.6%の改善）を達成しました。
• SQuAD v1.1: ${\text{BERT}}_{\text{LARGE}}$は単一モデルとしてDevセットで84.1 EMおよび90.9 F1を記録し、TriviaQAの事前学習を組み合わせたアンサンブルモデルはTestセットで87.4 EMおよび93.2 F1に達し、人間のベースライン（82.3 EM / 91.2 F1）を上回りました。
• SQuAD v2.0: ${\text{BERT}}_{\text{LARGE}}$はTestセットで80.0 EMおよび83.1 F1を記録し、従来の最高水準システムを+5.1 F1上回りました。
• SWAG: ${\text{BERT}}_{\text{LARGE}}$はTestセットで86.3%の正解率を記録し、OpenAI GPT（78.0%）および人間の専門家ベースライン（85.0%）を上回りました。
• アブレーション研究の結果: NSPを削除するとMNLI（-0.5%）、QNLI（-3.5%）、SQuAD F1（-0.6%）の性能が低下しました。MLMを標準的な左から右への言語モデル（LTR LM）に置き換えると、SQuAD（-10.7 F1）およびMRPC（正解率-9.2%）で大幅な性能低下が見られました。

限界と未解決の課題

• 事前学習とファインチューニングの不一致: 人工的な[MASK]トークンはファインチューニング時には出現しないため、不一致を軽減するためにヒューリスティックな置換規則（80/10/10）が必要となります。
• 事前学習の効率性: 標準的な自己回帰モデルが100%のトークンを予測するのに対し、BERTはバッチごとに15%のトークンしか予測しないため、収束までにより多くの事前学習ステップ（128,000トークン/バッチで1,000,000ステップ）が必要になります。
• アテンションの計算量ボトルネック: 標準的なTransformerのアテンションは系列長に対して二次関数的（$O(N^2)$）に計算量が増加するため、長系列の処理コストが高く、2段階の事前学習戦略（系列長128で90%のステップ、系列長512で残り10%のステップ）が必要でした。
• テキスト生成への非適用性: 双方向エンコーダであるBERTは表現獲得や判別的な下流タスク向けに設計されており、アーキテクチャの変更なしに自己回帰的な左から右へのテキスト生成を直接行うことはできません。