Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

논문 해설

문제 및 동기

표준 few-shot 프롬프팅은 언어 모델에 입출력 예시를 제공하여 많은 직접적인 질의응답 작업에서 뛰어난 성능을 발휘하도록 돕습니다. 그러나 초등 산술, 다단계 상식 질문, 기호 조작과 같은 다단계 추론 작업에서는 표준 프롬프팅 하에서 모델 크기만 단순히 확장하는 경우 종종 평평한 스케일링 곡선과 낮은 성능을 보입니다. 다단계 문제를 해결하려 했던 기존 접근 방식은 전문화된 근거(rationale) 모델을 훈련/파인튜닝(많은 양의 값비싼 지도 학습용 근거 데이터 필요)하거나 공식적인 신경 기호적(neuro-symbolic) 표현에 의존했습니다. 본 논문은 범용 언어 모델이 어떠한 파라미터 업데이트 없이도 인컨텍스트(in-context)만으로 다단계 추론을 온전히 수행할 수 있는지 조사합니다.

핵심 아이디어

• Chain-of-Thought 분해: 인간은 정답을 말하기 전에 복잡한 문제를 순차적인 추론 단계로 분해합니다. 언어 모델은 $⟨\text{input},\text{chain of thought},\text{output}⟩$의 삼중 구조로 이루어진 인컨텍스트 시연의 유도를 받을 때 이러한 행동을 모방할 수 있습니다.
• 규모에 따른 창발성: Chain-of-thought (CoT) 프롬프팅은 작은 모델($<10\text{B}$ 매개변수)에서는 유의미한 성능 향상을 제공하지 못하며 오히려 성능을 저하시키는 경우가 많습니다. 이는 대략 $100\text{B}$개 이상의 매개변수를 가진 모델에서만 효과적인 능력으로 창발됩니다.
• 가변적 중간 연산: 자연어 토큰을 생성함으로써 모델은 직접적인 정답 예측으로는 불가능했던, 더 어려운 다단계 문제에 더 많은 연산량(자율회귀 토큰 생성을 통해)을 동적으로 할당할 수 있습니다.

방법 (핵심 수식 포함)

이 방법은 few-shot 프롬프팅 패러다임을 수정합니다. 모델이 $P(y\mid x,{\mathcal{P}}_{\text{standard}})$를 직접 계산하는 입출력 쌍 $(x_i,y_i)$으로 프롬프팅하는 대신: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ chain-of-thought 프롬프팅은 최종 답변 앞에 자연어 추론 체인 $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$을 삽입합니다: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ 테스트 입력 $x$에 대한 추론 시점에 모델은 자율회귀(autoregressive) 방식으로 추론 체인과 답변을 모두 생성합니다: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ 산술 벤치마크를 위해 저자들은 사후 외부 계산기 확장 기능도 평가합니다. 산술 계산 실수를 방지하기 위해 $c$ 내에서 생성된 수학 방정식은 Python의 eval을 사용해 평가되고 문자열 매칭을 통해 결과를 후속 단계로 전파합니다.

결과 (주요 수치 포함)

• 산술 추론 (GSM8K): GSM8K에서 PaLM 540B의 표준 프롬프팅은 17.9%를 기록한 반면, 8-shot CoT 프롬프팅은 56.9%(외부 계산기 사용 시 58.6%)를 달성하여 검증기를 갖춘 파인튜닝된 GPT-3 175B의 기존 지도 학습 최고 기록인 55%를 넘어섰습니다. Codex는 63.1%(계산기 사용 시 65.4%)를 달성했습니다.
• 기타 수학 벤치마크: PaLM 540B는 SVAMP에서 79.0%(표준 69.4%), ASDiv에서 73.9%(표준 72.1%), AQuA에서 35.8%(표준 25.2%), MAWPS에서 93.3%(표준 79.2%)를 달성했습니다.
• 상식 추론: PaLM 540B CoT는 StrategyQA에서 75.6%(표준 68.6%, 기존 지도 학습 최고치 69.4%)로 새로운 SOTA를 세웠으며, Sports Understanding에서는 스포츠 애호가들의 점수를 능가했습니다(95.4% 대 84.0%).
• 기호 조작 및 길이 일반화: 마지막 글자 이어붙이기(last-letter concatenation)에서 PaLM 540B는 도메인 내(2단어)에서 7.6%(표준)에서 99.4%(CoT)로 향상되었습니다. 도메인 밖인 4단어로 테스트했을 때 표준 프롬프팅은 0.0%로 떨어진 반면, CoT는 63.0%의 정확도를 유지했습니다.
• 어블레이션 연구: LaMDA 137B에 대한 어블레이션 결과, "수식만" 프롬프팅(GSM8K에서 5.4%), 점 기호를 통한 "가변 연산만" 사용(6.4%), "정답 후 추론"(6.1%)은 표준 CoT 프롬프팅(14.3%)에 미치지 못함을 확인했으며, 이는 정답 이전에 중간 자연어 단계가 필수적임을 입증합니다.

한계점 및 미해결 과제

• 사실적 추론의 미보장: 생성된 체인은 신뢰할 수 없거나 의미론적 결함이 있거나 환각이 포함될 수 있으며, 때로는 우연히 정답에 도달하기도 합니다(특히 이진 또는 객관식 형식에서).
• 모델 크기 제약: 안정적으로 작동하려면 약 $100\text{B}+$ 이상의 매개변수를 가진 모델이 필요하므로 프로덕션 환경에서 서빙하기에는 비용이 많이 듭니다.
• 진정한 추론에 대한 의문: 논문에서는 인간의 추론 근거를 모방하는 것이 기저의 신경망 표상이 형식적 추론을 실행하고 있음을 증명하는 것은 아니라고 지적합니다.