논문 · arXiv 2005.14165
Language Models are Few-Shot Learners
세 줄 요약
- 🎯 표준 NLP 모델은 수천 개의 레이블된 예제를 통한 태스크 전용 미세조정에 의존하므로, 분포 외 일반화 성능이 저하될 위험이 있습니다.
- 🔧 최대 175B 파라미터의 GPT-3를 3,000억 개의 토큰으로 훈련하고, 가중치 업데이트 없이 인컨텍스트 프롬프트 조건화를 통해 모델을 평가합니다.
- 📈 퓨샷 환경에서 GPT-3 175B는 미세조정된 모델들과 대등하거나 근접한 성능을 보이며, TriviaQA에서 71.2%, LAMBADA에서 86.4%의 정확도를 달성합니다.
초록
최근 연구들은 대규모 텍스트 말뭉치에서 사전 훈련한 후 특정 태스크에 맞게 미세조정(fine-tuning)하는 방식으로 수많은 NLP 태스크 및 벤치마크에서 상당한 성능 향상을 입증했습니다. 이러한 방식은 아키텍처 측면에서는 대체로 태스크에 구애받지 않지만, 여전히 수천 혹은 수만 개의 예제로 구성된 태스크 전용 미세조정 데이터셋을 필요로 합니다. 반면 인간은 일반적으로 단 몇 가지 예시나 간단한 지시사항만으로도 새로운 언어 태스크를 수행할 수 있으며, 이는 현재의 NLP 시스템이 여전히 크게 어려움을 겪고 있는 부분입니다. 본 연구에서는 언어 모델의 규모를 확장하면 태스크 비의존적 퓨샷(few-shot) 성능이 크게 향상되며, 때로는 기존 최고 수준(SOTA)의 미세조정 방식과 견줄 만한 수준에 도달함을 보여줍니다. 구체적으로, 이전의 비희소(non-sparse) 언어 모델보다 10배 큰 1,750억 개의 파라미터를 가진 자기회귀 언어 모델 GPT-3를 훈련하고, 퓨샷 환경에서 성능을 평가합니다. 모든 태스크에서 GPT-3는 어떠한 그래디언트 업데이트나 미세조정 없이 적용되며, 태스크와 퓨샷 예시들은 순수하게 모델과의 텍스트 상호작용만을 통해 주어집니다. GPT-3는 번역, 질의응답, 빈칸 채우기 태스크뿐만 아니라 단어 순서 재배열, 문장 내 신조어 활용, 3자리 수 산술 연산과 같이 즉각적인 추론이나 도메인 적응이 필요한 여러 태스크를 포함한 수많은 NLP 데이터셋에서 강력한 성능을 달성합니다. 동시에, GPT-3의 퓨샷 학습이 여전히 고전하는 일부 데이터셋과 대규모 웹 말뭉치 기반 훈련과 관련된 방법론적 문제에 직면하는 데이터셋들도 확인했습니다. 마지막으로, GPT-3가 생성한 뉴스 기사 샘플은 인간 평가자가 실제 인간이 작성한 기사와 구별하기 어려워한다는 점을 발견했습니다. 우리는 이러한 발견과 전반적인 GPT-3가 사회에 미칠 광범위한 영향에 대해 논의합니다.
영어 원문 초록
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.
논문 해설
문제 및 연구 배경
표준적인 사전 훈련 후 미세조정(pre-training plus fine-tuning) 파이프라인은 대규모의 태스크 전용 레이블 데이터셋(보통 수천에서 수십만 개의 예제)을 필요로 합니다. 이러한 요구사항은 범용적인 적용성을 제한하고, 허위 상관관계(spurious correlations)에 취약해지게 만들며, 지시문이나 최소한의 예시만으로 태스크에 적응하는 인간의 학습 방식과도 거리가 멉니다. 더 작은 모델을 사용해 인컨텍스트 러닝(in-context learning)을 시도했던 이전 연구들은 미세조정 방식에 비해 큰 격차로 뒤처졌습니다.
핵심 아이디어
- 인컨텍스트 메타러닝(In-Context Meta-Learning): 모델은 사전 훈련 과정에서 패턴 인식 능력을 습득하며, 테스트 시 그래디언트 업데이트 없이 순방향 패스(forward pass) 동안 활성화 공간(activation space) 내에서 태스크 적응을 수행합니다.
- 조건화의 스펙트럼(Spectrum of Conditioning): 태스크는 제로샷(지시문만 제공), 원샷(지시문 + 1개의 예시), 퓨샷(2048 토큰 윈도우 내에 통상 10~100개의 개 예시 제공)에 걸쳐 테스트됩니다.
- 예측 가능한 스케일링(Predictable Scaling): 검증 손실(validation loss)의 멱법칙(power-law) 기반 경험적 스케일링은 8가지 모델 크기(125M부터 175B 파라미터까지)에 걸쳐 지속적인 다운스트림 성능 향상으로 이어집니다.
방법론
GPT-3는 GPT-2와 동일한 자기회귀 트랜스포머 아키텍처를 사용하며, 여기에 밀집 어텐션(dense attention)과 국소 밴드 희소 어텐션(locally banded sparse attention) 패턴을 번갈아 적용했습니다. 모델들은 의 유효 컨텍스트 크기를 바탕으로 3,000억 개의 토큰에서 사전 훈련되었습니다.
주요 평가 방식은 다음과 같습니다:
- 토큰별 완성 우도(Per-Token Completion Likelihood): 다지선다형 데이터셋의 경우, 정규화된 토큰 확률을 비교하여 후보 답변을 평가합니다.
- 무조건부 정규화(Unconditional Normalization): ARC, OpenBookQA, RACE와 같은 벤치마크에서는 모델 우도를 조건이 없는 베이스라인에 대해 정규화합니다:
여기서 는
"Answer: "또는"A: "와 같은 일반적인 프롬프트입니다. - 생성 디코딩(Generation Decoding): 자유 형식의 텍스트 완성 태스크에서는 빔 폭 4, 길이 페널티 의 빔 서치(beam search)를 사용합니다.
결과
- Closed-Book QA: GPT-3 175B는 TriviaQA에서 퓨샷 71.2%(오픈 도메인 미세조정 RAG의 68.0%를 능가), WebQuestions에서 41.5%, Natural Questions에서 29.9%를 기록했습니다.
- 언어 모델링 및 Cloze: PTB에서 20.5의 Perplexity(제로샷)를 달성했습니다. LAMBADA에서는 해당 태스크를 cloze 테스트로 구성했을 때 86.4%의 퓨샷 정확도(기존 SOTA 대비 18% 향상)를 보였습니다.
- 번역: 영어로 번역하는 태스크에서 39.2 BLEU(Fr En), 40.6 BLEU(De En), 39.5 BLEU(Ro En)를 기록하며 기존 비지도 NMT 베이스라인을 능가했습니다.
- 추론 및 합성: 퓨샷 설정에서 2자리 덧셈을 100%, 3자리 덧셈을 80.4%로 해결했습니다. 합성 뉴스 기사를 생성했을 때, 인간 평가자가 실제 기사와 구별해 낸 정확도는 52%에 불과했습니다(무작위 확률에 근접).
한계점 및 미해결 과제
- 취약한 태스크: 시퀀스 간 비교가 필요한 태스크, 특히 NLI(예: ANLI, RTE) 및 Word-in-Context(WiC 49.4%로 무작위 수준에 근접)에서 어려움을 겪습니다.
- 구조적 한계: 순수한 자기회귀 훈련 방식으로 인해 양방향 조건화가 불가능하며, 이는 역방향 참조나 전체 시퀀스를 다시 읽어야 하는 태스크에 불리합니다.
- 데이터 오염(Data Contamination): 대규모 웹 스크래핑으로 인해 훈련 세트와 테스트 세트 간 중복이 발생하여, 사후 광범위한 -gram 필터링 감사(예: Winograd 및 PIQA 대상)가 필요했습니다.
- 사회적 영향: 인터넷 규모의 훈련으로 인해 상당한 수준의 성별, 인종, 종교적 편향이 학습되며, 생성된 결과물이 악의적인 텍스트 생성에 악용될 수 있습니다.
핵심 용어
- in-context learning (인컨텍스트 러닝)
- 사전 훈련된 모델이 그래디언트 업데이트 없이 자연어 지시문과 프롬프트 예시만으로 테스트 시점에 태스크를 추론하고 수행하는 내부 루프 적응 과정.
- few-shot (퓨샷)
- 태스크 설명과 함께 모델의 컨텍스트 윈도우가 허용하는 만큼의 예시(일반적으로 10~100개)를 제공하는 평가 환경.
- one-shot (원샷)
- 자연어 태스크 설명과 함께 단 하나의 태스크 예시만을 제공하는 평가 조건.
- zero-shot (제로샷)
- 태스크 예시를 전혀 제공하지 않고 태스크를 설명하는 자연어 지시문만 제공하는 평가 설정.
- closed-book question answering
- 테스트 시점에 외부 문서나 검색 시스템에 접근하지 않고 오직 모델 파라미터 내에 저장된 지식에만 의존하여 사실적 질문에 답하는 방식.
- data contamination (데이터 오염)
- 대규모 인터넷 사전 훈련 말뭉치 내에 다운스트림 평가 벤치마크, 테스트 세트 또는 검증 세트가 우발적으로 포함되는 현상.
- sparse attention (희소 어텐션)
- 긴 컨텍스트 전반에서 연산 효율성의 균형을 맞추기 위해 밀집 어텐션 레이어와 국소 밴드 희소 어텐션 패턴을 번갈아 배치하는 아키텍처 변형.
- unconditional normalization (무조건부 정규화)
- 다지선다형 태스크에서 길이 및 빈도 편향을 제거하기 위해, 조건부 완성 우도를 일반 프롬프트만을 입력했을 때의 완성 확률로 나누는 기법.
자주 묻는 질문
전체 GPT-3 모델의 파라미터 수는 몇 개이며 어떻게 훈련되었나요?
GPT-3는 96개 레이어, 96개 어텐션 헤드, 12,288의 은닉 차원에 걸쳐 1,750억 개의 학습 가능한 파라미터를 가집니다. 필터링된 Common Crawl, WebText2, Books1, Books2 및 Wikipedia 데이터에서 총 3,000억 개의 토큰을 대상으로 Microsoft V100 GPU 클러스터 환경에서 Adam 옵티마이저를 사용하여 훈련되었습니다.
GPT-3는 다운스트림 벤치마크 평가를 위해 미세조정을 사용하나요?
아니요, 논문의 모든 주요 결과는 그래디언트 업데이트나 미세조정 없이 평가되었으며, 오로지 제로샷, 원샷, 또는 퓨샷 컨텍스트 프롬프트에만 의존합니다.
인간은 GPT-3 175B가 생성한 뉴스 기사를 얼마나 잘 구별할 수 있나요?
인간 평가자들은 짧은 기사(200단어)와 긴 기사(500단어) 모두에서 GPT-3가 생성한 뉴스 기사와 인간이 작성한 기사를 구별하는 데 약 52%의 정확도를 보였으며, 이는 무작위 추측 확률(50%)을 겨우 웃도는 수준입니다.
GPT-3가 가장 고전하는 태스크는 무엇인가요?
GPT-3는 자연어 추론 태스크(예: ANLI, RTE), Word-in-Context(WiC, 정확도 49.4%)와 같은 양방향 비교 태스크, 그리고 QuAC 및 RACE와 같은 특정 독해 태스크에서 낮은 성능을 보입니다.
이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.