Finetuned Language Models Are Zero-Shot Learners

Jason Wei; Maarten Bosma; Vincent Y. Zhao; Kelvin Guu; Adams Wei Yu; Brian Lester; Nan Du; Andrew M. Dai; Quoc V. Le

論文 · arXiv 2109.01652

Finetuned Language Models Are Zero-Shot Learners

Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, Quoc V. Le

發表於 2021-09-03cs.CL arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 未微調的大型語言模型在零樣本任務上表現受限，因原始提示詞偏離了預訓練時的詞元（token）分佈。
🔧 指令微調：在 62 個以自然語言模板呈現的 NLP 資料集上微調 137B 解碼器語言模型，並保留特定評估群集進行驗證。
📈 零樣本 FLAN 在 25 個評估資料集中的 20 個超越了零樣本 175B GPT-3，並在 ANLI 和 BoolQ 等任務上擊敗了少樣本 GPT-3。

摘要

本論文探討了一種提升語言模型零樣本學習（zero-shot learning）能力的簡易方法。我們展示了指令微調（instruction tuning）——即在以指令描述的多樣化任務集合上微調語言模型——能大幅提升其在未見任務上的零樣本表現。我們採用一個具備 137B 參數的預訓練語言模型，並在超過 60 個以自然語言指令模板呈現的 NLP 任務上進行指令微調。我們在未見過的任務類型上評估了這個名為 FLAN 的指令微調模型。FLAN 顯著超越了未微調的原型模型，並在評估的 25 項任務中的 20 項上擊敗了 175B 的零樣本 GPT-3。FLAN 甚至在 ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA 和 StoryCloze 上大幅超越了少樣本（few-shot）GPT-3。消融實驗顯示，微調資料集的數量、模型規模以及自然語言指令本身，是指令微調成功的關鍵要素。

英文原文摘要

This paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot performance on unseen tasks. We take a 137B parameter pretrained language model and instruction-tune it on over 60 NLP tasks verbalized via natural language instruction templates. We evaluate this instruction-tuned model, which we call FLAN, on unseen task types. FLAN substantially improves the performance of its unmodified counterpart and surpasses zero-shot 175B GPT-3 on 20 of 25 tasks that we evaluate. FLAN even outperforms few-shot GPT-3 by a large margin on ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, and StoryCloze. Ablation studies reveal that number of finetuning datasets, model scale, and natural language instructions are key to the success of instruction tuning.

論文解讀

問題與研究動機

大型語言模型（例如 GPT-3 175B）透過利用上下文中的範例（in-context exemplars），在少樣本學習（few-shot learning）中展現出卓越的能力。然而，在閱讀理解、自然語言推論（NLI）和問答等複雜的 NLP 基準測試中，其零樣本能力依然明顯較弱。未微調的模型仰賴將提示詞格式化為預訓練資料的延續文字，對於通常以明確指示或查詢呈現的任務來說，這種格式既不自然且缺乏穩健性。

作者探討了若在大量多樣化的 NLP 任務上進行監督式微調（明確以自然語言指令呈現），是否能讓語言模型在推論時以零樣本泛化到完全未見過的任務類型。

核心概念

指令微調（Instruction Tuning）：利用自然語言提示模板將現有的 NLP 資料集轉換為「指令-回應」格式，結合了多任務監督與提示學習（prompting）。
任務群集保留（Task Cluster Holdout）：將資料集分組為主題群集（例如 NLI、閉卷問答、翻譯、情感分析）。當在目標群集 $D$ 上測試零樣本泛化時，所有屬於 $D$ （以及緊密相關的群集）的資料集都會被排除在訓練之外，以確保嚴格的跨任務零樣本評估。
帶選項分類（Classification with Options）：對於分類任務，在提示詞中直接附加列出有效候選標籤的 OPTIONS: 後綴，引導生成式模型的輸出分佈，而無需將其嚴格限制在基於 logit 比較的排序分類。

方法細節

基礎模型為 LaMDA-PT，一個具備 1370 億參數的稠密（dense）、由左至右解碼器（decoder-only）Transformer，在涵蓋網路文件、程式碼、維基百科和對話資料的 2.49T BPE 詞元上進行預訓練（其中約 10% 為非英語）。

資料聚合：將 TensorFlow Datasets 中的 62 個資料集分組為 12 個群集。為每個資料集撰寫 10 個獨特的自然語言指令模板（包括最多 3 個「反向」模板，例如給定情感生成文本）。
訓練設定：每個資料集的訓練樣本上限為 30k。批次採用樣本比例混合機制，最大混合上限設為 3,000，以防止大型資料集主導訓練。使用 Adafactor 優化器（學習率 $3 \times 1 0^{- 5}$ ）訓練 30k 個梯度步數，批次大小為 8,192 詞元，序列長度為 1024（輸入）與 256（目標），並使用序列打包（sequence packing）。
評估協議：為了在 $c$ 個保留群集上進行評估，訓練了 $c$ 個不同的 FLAN 模型。成果同時報告了跨所有指令模板的平均值，以及在驗證集上選出的最佳模板表現。
少樣本範例推論：當有 $k$ 個範例 $(x_{i}, y_{i})$ 可用時，輸入格式化為： $instruct (x_{1}) \oplus y_{1} \oplus instruct (x_{2}) \oplus y_{2} \oplus \dots \oplus instruct (x_{k}) \oplus y_{k} \oplus instruct (x)$ 其中 $\oplus$ 表示使用分隔詞元進行串聯，上限為 16 個範例和 960 個詞元。

成果

與 GPT-3 的零樣本比較：使用驗證集最佳模板時，零樣本 FLAN 137B 在 25 個評估基準中的 20 個超越了零樣本 GPT-3 175B，並在 10 個資料集上超越了少樣本 GPT-3，包括 ANLI R1–R3、RTE、BoolQ、OpenbookQA 和 StoryCloze。
任務類型表現：在天然適合以指令呈現的任務（如 NLI、閱讀理解、閉卷問答、翻譯）上獲得了大幅增益。在 RTE 上，FLAN 達到 84.1%（最佳驗證模板），而零樣本 GPT-3 為 63.5%，少樣本 GPT-3 為 72.9%。在 BoolQ 上，FLAN 達到 82.9%，相比之下 GPT-3 零樣本為 60.5%、少樣本為 77.5%。
模型規模依賴性：在 422M、2B、8B、68B 和 137B 參數上的消融實驗顯示，對於 $\leq 8 B$ 參數的模型，指令微調實際上會損害在未見任務上的零樣本泛化能力。正向遷移僅在龐大規模下（ $\sim 68 B$ 和 $137 B$ ）才會顯現。
指令的重要性：完全無指令模板的微調（僅輸入-輸出：4 群集平均 37.3%）或僅提供資料集名稱（46.6%），其零樣本表現顯著差於使用自然指令（55.2%）。
與提示微調（Prompt Tuning）的相容性：將參數高效提示微調應用於 FLAN 時，在 SuperGLUE 上獲得的準確率高於應用於未微調的 LaMDA-PT 基礎模型，特別是在 32 個樣本的低資源情境下。

限制與開放研究問題

句子補全任務：在 Winogrande 或常識推理中的句子補全等語言建模風格的任務中，指令往往是多餘的，指令微調帶來的效益極低（有時甚至有害）。
指令複雜度：本論文僅探討簡短的單句指令，未研究通常提供給人類標註者的長篇詳盡提示指引。
上下文長度與運算資源：FLAN 的 1024 詞元上下文長度限制了摘要任務的嚴格評估。此外，運行與部署一個 137B 參數的稠密模型需要龐大的運算資源。

關鍵術語

instruction tuning: 在以自然語言指令模板格式化呈現的多樣化資料集集合上微調預訓練語言模型，以增強其對未見任務的泛化能力。
FLAN: Finetuned Language Net；基於 LaMDA-PT 僅解碼器架構的 137B 參數指令微調模型。
task clusters: 將 NLP 資料集依任務類型（例如 NLI、閉卷問答）進行分組，用於執行嚴格的留一群集驗證分割以進行零樣本測試。
LaMDA-PT: 一個具備 137B 參數的稠密、由左至右解碼器 Transformer，在涵蓋網路文件、程式碼、維基百科與對話資料的 2.49T 詞元上進行預訓練。
classification with options: 一種輸出格式化策略，在分類提示詞後附加「OPTIONS:」標記及可選的候選類別，以引導自由文本生成。
examples-proportional mixing: 多任務訓練中的資料集加權策略，資料集的採樣頻率與其大小成正比，並設有指定的最高混合上限（3,000 個樣本）。
data contamination analysis: 一種事後評估，衡量預訓練語料庫與基準測試集之間的 n-gram 重疊度，以確認效能增益並非來自記憶背誦。

常見問題

指令微調（instruction tuning）與標準的多任務微調有何不同？

傳統多任務微調旨在優化特定訓練任務的表現或適應新領域。指令微調則是利用自然語言指令訓練模型理解任務描述，目標是在訓練期間完全保留（未見）的任務類型上實現零樣本泛化。

為什麼指令微調會損害較小規模語言模型的表現？

對於 8B 參數或更小的模型，學習約 40 個不同的指令微調任務似乎就耗盡了模型的全部參數量容量，進而損害了對未見任務的泛化能力。只有在 $\sim 68 B$ 和 137B 參數的規模下，模型容量才足以同時學會任務執行與通用的指令遵循能力。

FLAN 在哪些任務上無法超越未微調的基礎模型？

在直接以語言模型補全形式建構的任務上，指令微調幾乎沒有助益，例如共指消解（如 Winogrande）和句子延續等常識基準測試，在這些任務中，指示性提示詞與基礎預訓練目標大部分是重複多餘的。

預訓練語料庫中的資料污染問題是如何處理的？

作者檢索了測試樣本與 2.49T 詞元預訓練資料集之間的 13-gram 重疊，建構出無重疊的乾淨子集。乾淨子集上的表現並未出現效能下降，這表明 FLAN 的零樣本增益並非由記憶背誦所驅動。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）