논문 · arXiv 2109.01652
Finetuned Language Models Are Zero-Shot Learners
세 줄 요약
- 🎯 미튜닝 대규모 언어 모델은 원시 프롬프트가 사전 학습 토큰 분포와 일치하지 않아 제로샷 작업에서 어려움을 겪습니다.
- 🔧 지시문 튜닝: 평가 클러스터를 제외하고, 자연어 템플릿으로 표현된 62개 NLP 데이터셋 전반에서 137B 디코더 LM을 파인튜닝합니다.
- 📈 제로샷 FLAN은 평가된 25개 데이터셋 중 20개에서 제로샷 175B GPT-3를 능가하며, ANLI 및 BoolQ와 같은 작업에서는 퓨샷 GPT-3보다 뛰어납니다.
초록
본 논문에서는 언어 모델의 제로샷 학습 능력을 향상시키는 간단한 방법을 탐구합니다. 연구진은 지시문(instruction)을 통해 기술된 작업 모음으로 언어 모델을 파인튜닝하는 '지시문 튜닝(instruction tuning)'이 미학습 작업에 대한 제로샷 성능을 대폭 향상시킨다는 점을 보여줍니다. 1,370억(137B) 파라미터의 사전 학습된 언어 모델을 자연어 지시문 템플릿으로 표현된 60개 이상의 NLP 작업에 대해 지시문 튜닝을 수행했습니다. 이 지시문 튜닝 모델인 FLAN을 미학습 작업 유형에서 평가했습니다. FLAN은 기존 기본 모델의 성능을 크게 향상시켰으며, 평가된 25개 작업 중 20개에서 제로샷 175B GPT-3를 능가했습니다. 또한 FLAN은 ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, StoryCloze 등에서 퓨샷 GPT-3마저 큰 격차로 앞질렀습니다. 소거 연구를 통해 파인튜닝 데이터셋의 수, 모델 규모, 자연어 지시문이 지시문 튜닝 성공의 핵심 요인임을 확인했습니다.
영어 원문 초록
This paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot performance on unseen tasks. We take a 137B parameter pretrained language model and instruction-tune it on over 60 NLP tasks verbalized via natural language instruction templates. We evaluate this instruction-tuned model, which we call FLAN, on unseen task types. FLAN substantially improves the performance of its unmodified counterpart and surpasses zero-shot 175B GPT-3 on 20 of 25 tasks that we evaluate. FLAN even outperforms few-shot GPT-3 by a large margin on ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, and StoryCloze. Ablation studies reveal that number of finetuning datasets, model scale, and natural language instructions are key to the success of instruction tuning.
논문 해설
문제 및 동기
대규모 언어 모델(예: GPT-3 175B)은 인컨텍스트 예시를 활용하여 퓨샷 학습에서 뛰어난 성능을 보입니다. 그러나 독해, 자연어 추론(NLI), 질문 답변과 같은 복잡한 NLP 벤치마크에서는 제로샷 능력이 여전히 상당히 약합니다. 튜닝되지 않은 모델은 사전 학습 데이터의 연속 형태로 구성된 프롬프트에 의존하는데, 이는 명시적인 지시나 질의로 표현되는 일반적인 작업에는 부자연스럽고 불안정한 형식입니다.
저자들은 자연어 지시문으로 명시적으로 표현된 다양한 NLP 작업 모음에서 지도 파인튜닝을 진행하면, 추론 시 완전히 새로운 작업 유형으로도 제로샷 일반화가 가능한지 탐구합니다.
핵심 아이디어
- Instruction Tuning(지시문 튜닝): 멀티태스크 지도 학습과 프롬프팅을 결합하여, 자연어 프롬프트 템플릿을 통해 기존 NLP 데이터셋을 지시-응답 형식으로 변환합니다.
- Task Cluster Holdout(작업 클러스터 제외): 데이터셋을 주제별 클러스터(예: NLI, Closed-Book QA, 번역, 감성 분석)로 그룹화합니다. 타깃 클러스터 에서 제로샷 일반화를 테스트할 때, 엄격한 제로샷 교차 작업 평가를 보장하기 위해 에 속한 모든 데이터셋(및 밀접하게 연관된 클러스터)을 학습에서 제외합니다.
- Classification with Options(보기를 포함한 분류): 분류 작업의 경우 유효한 후보 라벨을 프롬프트에 직접 나열하는
OPTIONS:접미사를 추가하여, 생성 모델의 출력 분포를 순위-분류 로짓 비교에만 제한하지 않고 자연스럽게 유도합니다.
방법론
기본 모델은 LaMDA-PT로, 웹 문서, 코드, 위키피디아, 대화 데이터(약 10%의 비영어 포함)에 걸쳐 2.49T BPE 토큰으로 사전 학습된 1,370억 파라미터의 밀집(dense) 좌-우(left-to-right) 디코더 전용 트랜스포머입니다.
- 데이터 집계: TensorFlow Datasets의 62개 데이터셋을 12개 클러스터로 그룹화합니다. 각 데이터셋마다 10개의 고유한 자연어 지시문 템플릿을 작성합니다(감성이 주어졌을 때 텍스트를 생성하는 등 최대 3개의 '역방향' 템플릿 포함).
- 학습 설정: 데이터셋당 학습 예제는 30k 개로 제한됩니다. 대규모 데이터셋이 지배하는 것을 방지하기 위해 최대 혼합률 3,000의 예제 비례 혼합(examples-proportional mixing) 방식을 사용하여 배치를 구성합니다. Adafactor 옵티마이저(학습률 ), 시퀀스 길이 1024(입력) 및 256(타깃), 시퀀스 패킹을 적용하여 배치 크기 8,192 토큰으로 30k 그래디언트 스텝 동안 학습을 진행합니다.
- 평가 프로토콜: 개의 제외된 클러스터 전반에서 평가하기 위해 개의 개별 FLAN 모델을 학습시킵니다. 성능은 모든 지시문 템플릿의 평균과 검증 세트에서 선택된 최적의 템플릿 기준 두 가지로 보고됩니다.
- 퓨샷 예시를 활용한 추론: 개의 예시 가 주어지면 입력은 다음과 같은 형식으로 구성됩니다: 여기서 는 구분 기호 토큰을 사용한 연결을 나타내며, 최대 16개의 예시 및 960개 토큰으로 제한됩니다.
결과
- GPT-3와의 제로샷 비교: 최적의 검증 템플릿을 사용했을 때, 제로샷 FLAN 137B는 평가된 25개 벤치마크 중 20개에서 제로샷 GPT-3 175B를 능가했으며, ANLI R1–R3, RTE, BoolQ, OpenbookQA, StoryCloze를 포함한 10개 데이터셋에서는 퓨샷 GPT-3마저 넘어섰습니다.
- 작업 유형: 지시문으로 자연스럽게 구성되는 작업(예: NLI, 독해, closed-book QA, 번역)에서 큰 성능 향상이 나타납니다. RTE에서 FLAN은 84.1%(최적 검증 템플릿 기준)를 기록하여 제로샷 GPT-3(63.5%)와 퓨샷 GPT-3(72.9%)를 압도했습니다. BoolQ에서는 FLAN이 82.9%를 달성하여 GPT-3의 제로샷 60.5% 및 퓨샷 77.5%를 앞질렀습니다.
- 규모 의존성: 422M, 2B, 8B, 68B, 137B 파라미터에 걸친 소거 연구에 따르면, 파라미터 모델의 경우 지시문 튜닝이 미학습 작업에 대한 제로샷 일반화 성능을 오히려 저해하는 것으로 나타났습니다. 긍정적인 전이 효과는 대규모(약 및 )에서만 발생합니다.
- 지시문의 중요성: 지시문 템플릿 없이 파인튜닝(입력-출력만 사용: 4개 클러스터 평균 37.3%)하거나 데이터셋 이름만 사용(46.6%)한 경우, 자연어 지시문을 사용한 경우(55.2%)보다 제로샷 성능이 현저히 떨어졌습니다.
- Prompt Tuning과의 호환성: FLAN에 파라미터 효율적인 프롬프트 튜닝(prompt tuning)을 적용하면, 튜닝되지 않은 LaMDA-PT 기본 모델에 적용했을 때보다 더 높은 SuperGLUE 정확도를 달성하며, 특히 32개 예시의 저자원 환경에서 효과가 두드러졌습니다.
한계점 및 열린 질문
- 문장 완성 작업: Winogrande나 상식 추론의 문장 완성과 같이 지시문이 불필요한 언어 모델링 스타일의 작업에서는 지시문 튜닝의 이점이 미미하거나 오히려 성능이 저하되기도 합니다.
- 지시문의 복잡성: 본 연구는 인간 평가자에게 주어지는 길고 정교한 프롬프트 가이드라인 대신 짧은 단일 문장 지시문만을 다루었습니다.
- 컨텍스트 윈도우 및 컴퓨팅 비용: FLAN의 1024 토큰 컨텍스트 길이로 인해 요약 작업에 대한 면밀한 평가가 제한되었습니다. 또한 137B 파라미터 밀집 모델을 실행하고 서빙하려면 막대한 컴퓨팅 리소스가 필요합니다.
핵심 용어
- instruction tuning
- 미학습 작업에 대한 일반화 성능을 향상시키기 위해, 자연어 지시문 템플릿으로 구성된 다양한 데이터셋 모음에서 사전 학습된 언어 모델을 파인튜닝하는 기법.
- FLAN
- Finetuned Language Net의 약자로, LaMDA-PT 디코더 전용 아키텍처를 기반으로 구축된 137B 파라미터의 지시문 튜닝 모델.
- task clusters
- 엄격한 리브-원-클러스터-아웃(leave-one-cluster-out) 제로샷 테스트 분할을 적용하기 위해 작업 유형(예: NLI, Closed-Book QA)별로 NLP 데이터셋을 묶은 그룹.
- LaMDA-PT
- 웹 문서, 코드, 위키피디아, 대화 데이터로 구성된 2.49T 토큰에서 사전 학습된 137B 파라미터의 밀집 좌-우 디코더 전용 트랜스포머.
- classification with options
- 자유 텍스트 생성을 올바른 방향으로 유도하기 위해 분류 프롬프트 뒤에 'OPTIONS:' 토큰과 후보 클래스 목록을 덧붙이는 출력 포맷팅 전략.
- examples-proportional mixing
- 멀티태스크 학습 시 특정 최대 혼합 상한선(3,000개 예제)까지 데이터셋 크기에 비례하여 샘플링을 진행하는 데이터 가중치 전략.
- data contamination analysis
- 성능 향상이 단순 암기에 의한 것이 아님을 검증하기 위해, 사전 학습 말뭉치와 벤치마크 테스트 세트 간의 n-gram 중복을 측정하는 사후 평가.
자주 묻는 질문
지시문 튜닝은 표준 멀티태스크 파인튜닝과 어떻게 다른가요?
전통적인 멀티태스크 파인튜닝은 특정 학습 작업 전반의 성능을 최적화하거나 새로운 도메인에 적응하는 것을 목표로 합니다. 반면 지시문 튜닝은 자연어 지시문을 사용하여 모델이 작업 설명을 이해하도록 학습시킴으로써, 학습 중 완전히 제외되었던 미학습 작업 유형에 대한 제로샷 일반화를 목표로 합니다.
더 작은 규모의 언어 모델에서 지시문 튜닝이 성능을 저하시키는 이유는 무엇인가요?
8B 이하의 파라미터를 가진 모델의 경우, 약 40개의 서로 다른 지시문 튜닝 작업을 학습하는 과정에서 모델의 전체 파라미터 용량이 소진되어 미학습 작업 일반화 성능이 저하되는 것으로 보입니다. 모델 규모가 약 68B 및 137B 파라미터에 도달해야만 작업 실행과 일반적인 지시문 수행 능력을 모두 학습할 수 있는 용량이 확보됩니다.
FLAN이 튜닝되지 않은 기본 모델보다 우수한 성능을 내지 못한 작업은 무엇인가요?
상호참조 해결(예: Winogrande)이나 문장 완성형 상식 벤치마크와 같이 언어 모델링 완성 형태로 직접 공식화되는 작업에서는 지시문 프롬프트가 기본 사전 학습 목표와 중복되므로, 지시문 튜닝의 이점이 거의 나타나지 않습니다.
사전 학습 말뭉치의 데이터 오염 문제는 어떻게 처리되었나요?
저자들은 테스트 예제와 2.49T 토큰 규모의 사전 학습 데이터셋 간에 13-gram 중복을 검색하여 중복이 없는 클린 서브셋을 구축했습니다. 클린 서브셋에서의 성능이 저하되지 않는 것을 확인함으로써 단순 암기가 FLAN의 제로샷 성능 향상을 이끈 원인이 아님을 입증했습니다.
이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.