XYZNOT

논문 · arXiv 2303.08774

GPT-4 기술 보고서 (GPT-4 Technical Report)

GPT-4 Technical Report

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila et al.

게시일 cs.CLcs.AI arXivPDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

  1. 🎯 프론티어 언어 모델은 대규모 연산 예산으로 확장할 때 신뢰성, 정렬, 예측 가능성 측면에서 한계에 직면했습니다.
  2. 🔧 텍스트와 이미지 입력에 걸쳐 토큰을 예측하도록 Transformer를 사전 훈련하고, 예측 가능한 스케일링 법칙과 함께 RLHF 및 제로샷 Rule-Based Reward Models (RBRMs)로 미세 조정했습니다.
  3. 📈 모의 Uniform Bar Exam에서 상위 10% (298/400)를 기록하고 5-shot MMLU에서 86.4%를 달성했으며, GPT-3.5 대비 허용되지 않는 응답 생성을 82% 줄였습니다.

초록

본 보고서에서는 이미지와 텍스트 입력을 받아 텍스트 출력을 생성할 수 있는 대규모 멀티모달 모델인 GPT-4의 개발을 보고합니다. 많은 실제 환경에서는 인간보다 능력이 떨어지지만, GPT-4는 모의 변호사 시험(Uniform Bar Exam)에서 응시자 상위 10% 내외의 점수로 합격하는 등 다양한 전문 및 학술 벤치마크에서 인간 수준의 성능을 보여줍니다. GPT-4는 문서의 다음 토큰을 예측하도록 사전 훈련된 Transformer 기반 모델입니다. 포스트 트레이닝(사후 훈련) 정렬 과정을 통해 사실성 지표와 목표 행동 준수 능력이 향상되었습니다. 본 프로젝트의 핵심 구성 요소는 광범위한 스케일 전반에 걸쳐 예측 가능하게 동작하는 인프라와 최적화 방식을 개발한 것입니다. 이를 통해 GPT-4 연산량의 1/1,000 이하로 훈련된 소규모 모델을 기반으로 GPT-4 성능의 특정 측면들을 정확하게 예측할 수 있었습니다.

영어 원문 초록

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4.

논문 해설

문제 및 동기

대규모 언어 모델(LLM)은 자연어 처리 전반에서 뛰어난 가능성을 보여주었으나, 이전 버전(예: GPT-3.5)은 복잡한 추론, 신뢰성, 사실적 정확성 및 안전성 측면에서 눈에 띄는 취약점을 드러냈습니다. 게다가 초대형 프론티어 모델의 훈련에는 막대한 연산 예산이 소요되므로, 최종 규모에서 일반적인 하이퍼파라미터 튜닝을 수행하는 것은 불가능합니다. GPT-4의 목표는 예측 가능한 스케일링 특성을 유지하고 안전성과 정렬을 대폭 개선하는 동시에, 이미지와 텍스트의 임의 조합 입력을 처리할 수 있는 대규모 멀티모달 모델을 구축하는 것입니다.

핵심 아이디어

  • 예측 가능한 스케일링 (Predictable Scaling): 에서 적은 연산량으로 훈련된 소형 모델로부터 최종 테스트 손실 및 다운스트림 코딩 벤치마크(HumanEval pass rate 등)를 신뢰성 있게 외삽할 수 있도록 최적화 파이프라인과 아키텍처를 안정화할 수 있습니다.
  • 멀티모달 이해 (Multimodal Understanding): GPT-4는 임의로 교차 배치된 이미지와 텍스트 입력을 받아 순수 언어 벤치마크 성능을 저하시키지 않으면서 차트, 다이어그램, 시험 문제, 시각적 유머 전반에 걸친 복잡한 추론을 수행합니다.
  • 사전 훈련의 지배력과 타깃화된 사후 훈련: 기본 모델 사전 훈련이 핵심 추론 능력과 시험 지식을 제공하며(기본 모델과 RLHF 모델의 객관식 평균은 각각 73.7% 대 74.0%로 실질적으로 동일), RLHF와 규칙 기반 검증은 안전성, 서식 지정 및 사실성을 유도합니다.
  • 규칙 기반 보상 모델 (Rule-Based Reward Models, RBRMs): 모델 정렬은 RLHF 도중 타깃화된 보조 보상을 제공하는 모델 기반 안전 분류기에 의존하여, 허용되지 않는 프롬프트에 대한 적절한 거절을 유도하고 안전한 프롬프트에 대해 과도하게 답변을 회피하는 현상을 완화합니다.

방법론 (핵심 수식 포함)

GPT-4는 공개 웹 데이터 및 라이선스 데이터를 바탕으로 다음 토큰을 예측하도록 사전 훈련된 Transformer 기반 자기회귀 모델이며, 이후 인공지능 피드백/인간 피드백 기반 강화학습(RLHF)을 거쳤습니다.

1. 스케일링 법칙 외삽

본 훈련에서 직접 경험적 튜닝을 수행하지 않고도 인프라 예측 가능성을 확보하기 위해, 내부 코드 토큰에 대한 최종 손실은 다음과 같은 기약 손실(irreducible loss) 수식을 통해 예측되었습니다: 여기서 는 정규화된 연산량을 나타내며, 는 최대 적은 연산량을 사용한 실행에서 피팅된 파라미터입니다.

HumanEval의 다운스트림 역량 스케일링의 경우, 문제 부분집합 전반에 대한 평균 로그 pass rate를 다음과 같이 모델링했습니다: 이를 통해 사전 훈련 단계에서 기능적 코딩 성능을 사전에 등록 및 예측할 수 있었습니다.

2. 모델 보조 안전 파이프라인

인간 피드백과 더불어, RLHF 최적화에는 Rule-Based Reward Models (RBRMs)가 통합되었습니다. RBRM은 다음 입력을 받는 제로샷 GPT-4 분류기입니다:

  • 사용자 프롬프트 (선택 사항),
  • 정책(policy) 모델의 완성 텍스트,
  • 인간이 작성한 루브릭 (응답을 원하는 거절, 모호한/장황한 거절, 안전한 답변, 허용되지 않은 콘텐츠 등의 카테고리로 분류하는 다중 클래스 채점 기준).

최적화된 RBRM 가중치는 정책 모델이 유해한 요청(예: CBRN 위협, 사이버 공격)은 거절하면서도 민감한 주제와 인접한 무해한 요청은 안정적으로 처리하도록 훈련하는 자동화된 보상 신호를 제공합니다.

결과 (주요 수치 요약)

  • 전문직 및 학술 시험: GPT-4는 Uniform Bar Examination에서 298/400점(약 90백분위수)을 기록했습니다(GPT-3.5는 213/400점, 약 10백분위수). LSAT에서는 163점(약 88백분위수)을 얻었으며, AP Biology에서 5점, AP Calculus BC 4점, AP Chemistry 4점, AP Art History에서 5점을 기록했습니다.
  • 학술 NLP 벤치마크: GPT-4는 5-shot MMLU(86.4% 대 GPT-3.5 70.0%), 10-shot HellaSwag(95.3%), 25-shot ARC Challenge(96.3%), 0-shot HumanEval(67.0%)에서 최고 성능을 달성했습니다. 5-shot 사고의 연쇄(CoT) GSM-8K에서는 92.0%를 달성했습니다.
  • 다국어 능력: 26개 언어로 번역된 MMLU 버전 평가 결과, GPT-4는 라트비아어(85.5%), 웨일스어(71.4%), 스와힐리어(82.6%)와 같은 저자원 언어를 포함한 24개 언어에서 GPT-3.5 및 PaLM의 영어 기준 성능을 능가했습니다.
  • 안전성 및 사실성: 내부 사실성 평가에서 GPT-4는 최신 GPT-3.5 대비 19%p 더 높은 점수를 얻었습니다. 허용되지 않은 응답 비율은 82% 감소했고, 민감 요청 준수율은 29% 향상되었으며, RealToxicityPrompts 상의 유해 텍스트 생성률은 6.48%(GPT-3.5)에서 0.73%로 떨어졌습니다.

한계점 및 미해결 과제

  • 환각(Hallucinations) 및 캘리브레이션: 사실적 오류가 줄었음에도 불구하고 GPT-4는 여전히 정보를 허구로 지어내고 기본적인 추론 실수를 저지릅니다. 사전 훈련된 기본 모델은 거의 완벽한 캘리브레이션을 보여주지만, RLHF 사후 훈련은 캘리브레이션을 크게 손상시켜 정렬된 모델이 오답을 출력할 때 과도한 확신을 갖게 만듭니다.
  • 지식의 시간적 컷오프: 대다수의 사전 훈련 데이터는 2021년 9월에 마감되었습니다. 모델은 세계 상태를 지속적으로 업데이트하거나 배포 중 발생하는 상호작용으로부터 스스로 학습하지 않습니다.
  • 역 스케일링(Inverse Scaling) 및 탈옥: 일부 비직관적인 패턴은 대규모 스케일에서만 역전되지만(예: Hindsight Neglect), 적대적 프롬프트, 시스템 메시지 조작, 다단계 탈옥(jailbreak)에 대한 취약성은 여전히 남아 있습니다.
  • 아키텍처 투명성 부재: 경쟁 환경 및 안전 문제로 인해 아키텍처 사양(파라미터 수, MoE 설계, 데이터셋 크기, 하드웨어 및 정확한 연산량)은 공개되지 않았습니다.

핵심 용어

Multimodal Model
텍스트와 이미지의 임의 조합 입력을 받아 자연어 완성을 생성할 수 있는 모델.
Predictable Scaling
본 훈련 이전에 소규모 훈련 실행(최대 10,000배 적은 연산량)을 통해 멱법칙을 정밀하게 피팅하고 최종 손실 및 과제 수행 역량을 예측하는 방법론.
Rule-Based Reward Models (RBRMs)
인간이 작성한 루브릭의 안내에 따라 안전한 거절 및 안전한 완성을 강화하기 위해 RLHF 도중 보조 보상 신호를 출력하는 제로샷 GPT-4 분류기.
Uniform Bar Exam (UBE)
미국의 표준 변호사 자격시험으로, GPT-4는 298/400점을 획득하여 인간 응시자의 약 상위 10%에 도달함.
MMLU
STEM, 인문학, 사회과학에 걸친 57개 주제를 아우르며 다분야 질의응답을 평가하는 데 사용되는 Massive Multitask Language Understanding 벤치마크.
Calibration
모델이 예측한 확률 또는 확신도가 실제 정답률 빈도와 일치하는 정도. 사전 훈련된 GPT-4에서는 높았으나 RLHF를 거치며 저하됨.
HumanEval
독스트링(docstring) 기반의 파이썬 코드 생성을 평가하는 벤치마크로, GPT-4는 0-shot pass rate 67.0%를 달성함.
Inverse Scaling
연산량과 파라미터가 증가함에 따라 모델 성능이 오히려 악화되는 현상으로, GPT-4는 Hindsight Neglect 등의 과제에서 이를 역전시킴.

자주 묻는 질문

GPT-4의 아키텍처, 파라미터 수, 하드웨어 세부 정보가 공개되었나요?

아닙니다. 보고서에서는 경쟁 환경과 안전성 문제를 이유로 모델 크기, 아키텍처, 데이터셋 구성, 하드웨어 및 총 훈련 연산량을 명시적으로 공개하지 않았습니다.

RLHF가 GPT-4의 핵심 학술 시험 성능에 어떤 영향을 미치나요?

RLHF가 핵심 시험 지식에 미치는 영향은 미미합니다. 기본 GPT-4는 객관식 시험 문제에서 평균 73.7%를 기록한 반면 RLHF 모델은 74.0%를 기록하여, 실제 역량은 주로 사전 훈련에서 비롯됨을 보여줍니다.

학술 시험에 대한 데이터 오염(Data Contamination)은 어떻게 평가되었나요?

저자들은 토큰화된 사전 훈련 데이터 내에서 시험 문제의 50자 하위 문자열을 검색했습니다. 오염된 문제를 제거하더라도 거의 모든 평가에서 성능 차이는 무시할 수 있는 수준이었습니다.

포스트 트레이닝이 모델 캘리브레이션에 어떤 영향을 주나요?

사전 훈련된 GPT-4는 캘리브레이션이 잘 되어 있어(확신도가 정확도와 일치함) 있으나, RLHF 사후 훈련은 캘리브레이션을 크게 손상시켜 정렬된 모델이 틀렸을 때도 과도한 확신을 표명하게 만듭니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)