GPT-4 Technical Report

OpenAI; Josh Achiam; Steven Adler; Sandhini Agarwal; Lama Ahmad; Ilge Akkaya; Florencia Leoni Aleman; Diogo Almeida; Janko Altenschmidt; Sam Altman; Shyamal Anadkat; Red Avila; Igor Babuschkin; Suchir Balaji; Valerie Balcom; Paul Baltescu; Haiming Bao; Mohammad Bavarian; Jeff Belgum; Irwan Bello; Jake Berdine; Gabriel Bernadett-Shapiro; Christopher Berner; Lenny Bogdonoff; Oleg Boiko; Madelaine Boyd; Anna-Luisa Brakman; Greg Brockman; Tim Brooks; Miles Brundage; Kevin Button; Trevor Cai; Rosie Campbell; Andrew Cann; Brittany Carey; Chelsea Carlson; Rory Carmichael; Brooke Chan; Che Chang; Fotis Chantzis; Derek Chen; Sully Chen; Ruby Chen; Jason Chen; Mark Chen; Ben Chess; Chester Cho; Casey Chu; Hyung Won Chung; Dave Cummings

GPT-4 Technical Report

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila et al.

प्रकाशित 2023-03-15cs.CLcs.AI arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 बड़े पैमाने के कंप्यूट बजट तक स्केल करते समय फ्रंटियर लैंग्वेज मॉडल्स को विश्वसनीयता, अलाइनमेंट और पूर्वानुमेयता (predictability) की बाधाओं का सामना करना पड़ा।
🔧 टेक्स्ट और इमेज इनपुट्स पर टोकन प्रेडिक्ट करने के लिए एक Transformer को प्री-ट्रेन किया गया, जिसे RLHF और जीरो-शॉट Rule-Based Reward Models (RBRMs) के माध्यम से ट्यून किया गया, जिसमें प्रेडिक्टेबल स्केलिंग लॉ शामिल थे।
📈 सिम्युलेटेड Uniform Bar Exam (298/400) में शीर्ष 10% और 5-shot MMLU पर 86.4% प्राप्त किया, जबकि GPT-3.5 की तुलना में अस्वीकृत प्रतिक्रियाओं (disallowed responses) को 82% तक कम किया।

सार

हम GPT-4 के विकास की रिपोर्ट प्रस्तुत करते हैं, जो एक बड़े पैमाने का मल्टीमॉडल मॉडल है जो इमेज और टेक्स्ट इनपुट स्वीकार कर सकता है और टेक्स्ट आउटपुट उत्पन्न कर सकता है। हालांकि कई वास्तविक परिदृश्यों में यह मनुष्यों की तुलना में कम सक्षम है, फिर भी GPT-4 विभिन्न पेशेवर और शैक्षणिक बेंचमार्क पर मानव-स्तरीय प्रदर्शन प्रदर्शित करता है, जिसमें शीर्ष 10% परीक्षार्थियों के स्कोर के साथ एक सिम्युलेटेड बार परीक्षा पास करना शामिल है। GPT-4 एक Transformer-आधारित मॉडल है जिसे किसी दस्तावेज़ में अगले टोकन की भविष्यवाणी करने के लिए प्री-ट्रेन किया गया है। पोस्ट-ट्रेनिंग अलाइनमेंट प्रक्रिया के परिणामस्वरूप तथ्यात्मकता के पैमानों और वांछित व्यवहार के अनुपालन में बेहतर प्रदर्शन मिलता है। इस परियोजना का एक मुख्य घटक ऐसे बुनियादी ढांचे और अनुकूलन विधियों का विकास करना था जो विभिन्न पैमानों पर पूर्वानुमेय (predictable) व्यवहार करते हैं। इसने हमें GPT-4 के 1/1,000वें हिस्से से भी कम कंप्यूट के साथ प्रशिक्षित मॉडलों के आधार पर GPT-4 के प्रदर्शन के कुछ पहलुओं की सटीक भविष्यवाणी करने में सक्षम बनाया।

मूल सार (अंग्रेज़ी)

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4.

पढ़ने की गाइड

समस्या और प्रेरणा

लार्ज लैंग्वेज मॉडल्स (LLMs) ने नेचुरल लैंग्वेज प्रोसेसिंग में काफी संभावनाएं दिखाईं, लेकिन पिछले संस्करणों (जैसे कि GPT-3.5) में जटिल रीजनिंग, विश्वसनीयता, तथ्यात्मक सटीकता और सुरक्षा में उल्लेखनीय कमियां थीं। इसके अलावा, अत्यधिक बड़े फ्रंटियर मॉडल्स के प्रशिक्षण के लिए बहुत बड़े कम्प्यूटेशनल बजट की आवश्यकता होती है, जहां अंतिम स्केल पर मानक हाइपरपैरामीटर ट्यूनिंग अव्यावहारिक होती है। GPT-4 का लक्ष्य एक बड़े पैमाने का मल्टीमॉडल मॉडल तैयार करना है जो प्रेडिक्टेबल स्केलिंग व्यवहार और अत्यधिक बेहतर सुरक्षा एवं अलाइनमेंट बनाए रखते हुए इमेज और टेक्स्ट इनपुट के किसी भी मिश्रण को प्रोसेस करने में सक्षम हो।

मुख्य विचार

प्रेडिक्टेबल स्केलिंग (Predictable Scaling): ऑप्टिमाइज़ेशन पाइपलाइनों और आर्किटेक्चर को इस तरह स्थिर किया जा सकता है कि $1, 000 \times$ से $10, 000 \times$ कम कंप्यूट का उपयोग करके प्रशिक्षित छोटे मॉडलों से अंतिम टेस्ट लॉस और डाउनस्ट्रीम कोडिंग बेंचमार्क (जैसे HumanEval पास दर) को विश्वसनीयता से एक्सट्रापोलेट किया जा सके।
मल्टीमॉडल समझ (Multimodal Understanding): GPT-4 इमेज और टेक्स्ट के मनमाने इंटरलेस्ड संयोजनों को स्वीकार करता है, शुद्ध भाषा बेंचमार्क को प्रभावित किए बिना चार्ट, डायग्राम, परीक्षा प्रश्नों और विज़ुअल ह्यूमर पर जटिल रीजनिंग करता है।
टारगेटेड पोस्ट-ट्रेनिंग के साथ प्री-ट्रेनिंग की प्रमुखता: बेस मॉडल प्री-ट्रेनिंग कोर रीजनिंग और परीक्षा ज्ञान प्रदान करती है (बेस और RLHF मल्टीपल-चॉइस औसत अनिवार्य रूप से 73.7% बनाम 74.0% के बराबर हैं), जबकि RLHF और नियम-आधारित जांच सुरक्षा, फॉर्मेटिंग और तथ्यात्मकता को नियंत्रित करते हैं।
रूल-बेस्ड रिवॉर्ड मॉडल्स (Rule-Based Reward Models - RBRMs): अलाइनमेंट मॉडल-असिस्टेड सुरक्षा क्लासिफायर पर निर्भर करता है, जो अस्वीकृत संकेतों (disallowed prompts) को उचित रूप से अस्वीकार करने और सुरक्षित संकेतों पर आवश्यकता से अधिक बचने (over-hedging) को कम करने के लिए RLHF के दौरान लक्षित सहायक पुरस्कार (auxiliary rewards) प्रदान करते हैं।

विधि (प्रमुख समीकरणों के साथ)

GPT-4 एक Transformer-आधारित ऑटोरेग्रेसिव मॉडल है जिसे सार्वजनिक रूप से उपलब्ध वेब डेटा और लाइसेंसीकृत डेटा पर अगले टोकन की भविष्यवाणी करने के लिए प्री-ट्रेन किया गया है, जिसके बाद Reinforcement Learning from Human Feedback (RLHF) लागू किया गया है।

1. स्केलिंग लॉ एक्सट्रापोलेशन

प्राथमिक रन पर बिना किसी अनुभवजन्य ट्यूनिंग के बुनियादी ढांचे की पूर्वानुमेयता सुनिश्चित करने के लिए, आंतरिक कोड टोकन पर अंतिम लॉस का अनुमान एक इरेड्यूसिबल लॉस फॉर्मूलेशन का उपयोग करके लगाया गया था: $L (C) = a C^{b} + c$ जहाँ $C$ नॉर्मलाइज़्ड कंप्यूट को दर्शाता है, और $a, b, c$ उन रनों से फिट किए गए पैरामीटर हैं जिनमें $10, 000 \times$ तक कम कंप्यूट का उपयोग किया गया था।

HumanEval पर डाउनस्ट्रीम क्षमता स्केलिंग के लिए, समस्या सबसेट्स $P$ में माध्य लॉग पास दर को निम्न प्रकार से मॉडल किया गया था: $- E_{P} [lo g (pass_rate (C))] = α \cdot C^{- k}$ जिसने कार्यात्मक कोडिंग प्रदर्शन के प्री-ट्रेनिंग पंजीकरण की अनुमति दी।

2. मॉडल-असिस्टेड सेफ्टी पाइपलाइन

मानव फीडबैक के साथ-साथ, RLHF ऑप्टिमाइज़ेशन में Rule-Based Reward Models (RBRMs) शामिल हैं। एक RBRM शून्य-शॉट (zero-shot) GPT-4 क्लासिफायर है जो निम्नलिखित इनपुट स्वीकार करता है:

उपयोगकर्ता प्रॉम्प्ट (वैकल्पिक),
पॉलिसी मॉडल कंप्लीशन,
मानव-लिखित रूब्रिक (एक मल्टी-क्लास रूब्रिक जो प्रतिक्रियाओं को वांछित अस्वीकृति, टालमटोल/अस्पष्ट अस्वीकृति, सुरक्षित उत्तर, या अस्वीकृत सामग्री जैसी श्रेणियों में वर्गीकृत करता है)।

इष्टतम RBRM वज़न पॉलिसी मॉडल को हानिकारक अनुरोधों (जैसे, CBRN खतरे, साइबर हमले) को अस्वीकार करने के लिए प्रशिक्षित करने हेतु एक स्वचालित रिवॉर्ड सिग्नल प्रदान करते हैं, साथ ही निकटवर्ती संवेदनशील विषयों में सौम्य अनुरोधों को विश्वसनीयता से पूरा करते हैं।

परिणाम (सबसे महत्वपूर्ण आंकड़ों के साथ)

व्यावसायिक और शैक्षणिक परीक्षाएं: GPT-4 ने Uniform Bar Examination में 298/400 (90वां पर्सेंटाइल) स्कोर किया (इसकी तुलना में GPT-3.5 का स्कोर 213/400, ~10वां पर्सेंटाइल था)। LSAT पर, इसने 163 (88वां पर्सेंटाइल) प्राप्त किया, और इसने AP Biology में 5, AP Calculus BC में 4, AP Chemistry में 4, और AP Art History में 5 अंक प्राप्त किए।
अकादमिक एनएलपी बेंचमार्क: GPT-4 ने 5-shot MMLU (86.4% बनाम GPT-3.5 के लिए 70.0%), 10-shot HellaSwag (95.3%), 25-shot ARC Challenge (96.3%), और 0-shot HumanEval (67.0%) पर नए अत्याधुनिक मानक स्थापित किए। 5-shot चेन-ऑफ-थॉट GSM-8K पर, इसने 92.0% हासिल किया।
बहुभाषी क्षमता: 26 भाषाओं में MMLU के अनुवादित संस्करणों से पता चला कि GPT-4 ने 24 भाषाओं में GPT-3.5 और PaLM के अंग्रेजी-भाषा बेसलाइन से बेहतर प्रदर्शन किया, जिसमें लातवियाई (85.5%), वेल्श (71.4%), और स्वाहिली (82.6%) जैसी निम्न-संसाधन (low-resource) भाषाएं शामिल हैं।
सुरक्षा और तथ्यात्मकता: आंतरिक तथ्यात्मकता मूल्यांकनों पर GPT-4 ने नवीनतम GPT-3.5 की तुलना में 19 प्रतिशत अंक अधिक स्कोर किया। अस्वीकृत प्रतिक्रिया दरों में 82% की गिरावट आई, संवेदनशील अनुरोध अनुपालन में 29% का सुधार हुआ, और RealToxicityPrompts पर टॉक्सिसिटी जनरेशन 6.48% (GPT-3.5) से घटकर 0.73% हो गया।

सीमाएं और खुले प्रश्न

हैलुसिनेशन और कैलिब्रेशन: तथ्यात्मक त्रुटियों में कमी के बावजूद, GPT-4 अभी भी तथ्यों को हैलुसिनेट करता है और बुनियादी तार्किक गलतियां करता है। हालांकि बेस प्री-ट्रेंड मॉडल लगभग पूर्ण कैलिब्रेशन प्रदर्शित करता है, RLHF पोस्ट-ट्रेनिंग कैलिब्रेशन को काफी नुकसान पहुंचाती है, जिससे अलाइन्ड मॉडल गलत होने पर भी अत्यधिक आश्वस्त दिखाई देता है।
टेम्पोरल नॉलेज कटऑफ: प्री-ट्रेनिंग डेटा का विशाल बहुमत सितंबर 2021 में समाप्त हो गया था; मॉडल अपनी विश्व स्थिति को निरंतर अपडेट नहीं करता है और न ही चल रहे परिनियोजन इंटरैक्शन से सीखता है।
इन्वर्स स्केलिंग और जेलब्रेक: कुछ सहज ज्ञान के विपरीत पैटर्न केवल बड़े पैमाने पर उलटते हैं (जैसे, Hindsight Neglect), लेकिन प्रतिकूल प्रॉम्प्टिंग (adversarial prompting), सिस्टम संदेश में हेरफेर और मल्टी-स्टेप जेलब्रेक के प्रति संवेदनशीलता बनी रहती है।
आर्किटेक्चरल पारदर्शिता का अभाव: प्रतिस्पर्धात्मक और सुरक्षा चिंताओं के कारण, आर्किटेक्चरल विनिर्देशों (पैरामीटर संख्या, MoE डिज़ाइन, डेटासेट आकार, हार्डवेयर और सटीक कंप्यूट) का खुलासा नहीं किया गया है।

मुख्य शब्द

Multimodal Model: एक मॉडल जो प्राकृतिक भाषा में कंप्लीशन उत्पन्न करने के लिए टेक्स्ट और इमेज इनपुट के किसी भी संयोजन को प्रोसेस करने में सक्षम है।
Predictable Scaling: पूर्ण पैमाने पर प्रशिक्षण से पहले पावर लॉ को सटीक रूप से फिट करने और अंतिम लॉस तथा कार्य क्षमताओं का अनुमान लगाने के लिए छोटे पैमाने के प्रशिक्षण रनों (10,000 गुना तक कम कंप्यूट) का उपयोग करने की पद्धति।
Rule-Based Reward Models (RBRMs): मानव-लिखित रूब्रिक्स द्वारा निर्देशित जीरो-शॉट GPT-4 क्लासिफायर जो सुरक्षित अस्वीकृति और सुरक्षित कंप्लीशन को सुदृढ़ करने के लिए RLHF के दौरान सहायक रिवॉर्ड सिग्नल आउटपुट करते हैं।
Uniform Bar Exam (UBE): एक मानकीकृत कानूनी योग्यता परीक्षा जिसमें GPT-4 ने 298/400 अंक प्राप्त किए, जो मानव परीक्षार्थियों के लगभग 90वें पर्सेंटाइल तक पहुँच गया।
MMLU: Massive Multitask Language Understanding, STEM, मानविकी और सामाजिक विज्ञान में फैला एक 57-विषयों का बेंचमार्क जिसका उपयोग मल्टी-डोमेन प्रश्न उत्तर का आकलन करने के लिए किया जाता है।
Calibration: वह डिग्री जिस पर मॉडल की अनुमानित संभावना या विश्वास सही होने की वास्तविक अनुभवजन्य आवृत्ति से मेल खाती है; प्री-ट्रेंड GPT-4 में उच्च लेकिन RLHF द्वारा अवक्रमित।
HumanEval: डॉकस्ट्रिंग्स से पायथन कोड जनरेशन का मूल्यांकन करने वाला एक बेंचमार्क, जिस पर GPT-4 ने 67.0% 0-शॉट पास दर हासिल की।
Inverse Scaling: एक ऐसी घटना जहाँ कंप्यूट और पैरामीटर बढ़ने के साथ मॉडल का प्रदर्शन खराब हो जाता है, जिसे GPT-4 ने Hindsight Neglect जैसे कार्यों पर उलट दिया।

प्रश्न

GPT-4 के लिए कौन से आर्किटेक्चर, पैरामीटर काउंट, या हार्डवेयर विवरण का खुलासा किया गया है?

कोई नहीं। प्रतिस्पर्धी परिदृश्य और सुरक्षा प्रभावों के कारण रिपोर्ट स्पष्ट रूप से मॉडल के आकार, आर्किटेक्चर, डेटासेट संरचना, हार्डवेयर और कुल प्रशिक्षण कंप्यूट को छोड़ देती है।

RLHF GPT-4 के कोर शैक्षणिक परीक्षा प्रदर्शन को कैसे प्रभावित करता है?

RLHF का कोर परीक्षा ज्ञान पर न्यूनतम प्रभाव पड़ता है: बेस GPT-4 ने मल्टीपल-चॉइस परीक्षा प्रश्नों पर औसतन 73.7% स्कोर किया, जबकि RLHF मॉडल के लिए यह 74.0% था, जो दर्शाता है कि क्षमता मुख्य रूप से प्री-ट्रेनिंग से आती है।

शैक्षणिक परीक्षाओं के लिए डेटा संदूषण (data contamination) का मूल्यांकन कैसे किया गया?

लेखकों ने टोकनाइज़्ड प्री-ट्रेनिंग डेटा के भीतर परीक्षाओं से 50-वर्णों के सबस्ट्रिंग्स की खोज की; संदूषित प्रश्नों को हटाने पर लगभग सभी मूल्यांकनों में प्रदर्शन में नगण्य अंतर देखा गया।

पोस्ट-ट्रेनिंग मॉडल कैलिब्रेशन को कैसे प्रभावित करती है?

प्री-ट्रेंड GPT-4 अच्छी तरह से कैलिब्रेटेड है (विश्वास सटीकता से मेल खाता है), लेकिन RLHF पोस्ट-ट्रेनिंग कैलिब्रेशन को काफी नुकसान पहुंचाती है, जिससे अलाइन्ड मॉडल गलत होने पर भी अति-आत्मविश्वास व्यक्त करता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें