GPT-4 Technical Report

OpenAI; Josh Achiam; Steven Adler; Sandhini Agarwal; Lama Ahmad; Ilge Akkaya; Florencia Leoni Aleman; Diogo Almeida; Janko Altenschmidt; Sam Altman; Shyamal Anadkat; Red Avila; Igor Babuschkin; Suchir Balaji; Valerie Balcom; Paul Baltescu; Haiming Bao; Mohammad Bavarian; Jeff Belgum; Irwan Bello; Jake Berdine; Gabriel Bernadett-Shapiro; Christopher Berner; Lenny Bogdonoff; Oleg Boiko; Madelaine Boyd; Anna-Luisa Brakman; Greg Brockman; Tim Brooks; Miles Brundage; Kevin Button; Trevor Cai; Rosie Campbell; Andrew Cann; Brittany Carey; Chelsea Carlson; Rory Carmichael; Brooke Chan; Che Chang; Fotis Chantzis; Derek Chen; Sully Chen; Ruby Chen; Jason Chen; Mark Chen; Ben Chess; Chester Cho; Casey Chu; Hyung Won Chung; Dave Cummings

التقرير التقني لـ GPT-4

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila et al.

تاريخ النشر 2023-03-15cs.CLcs.AI arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 واجهت النماذج اللغوية الرائدة عقبات في الموثوقية والمحاذاة والقدرة على التنبؤ عند التوسع إلى ميزانيات حوسبة هائلة.
🔧 تم التدريب المسبق لنموذج Transformer للتنبؤ بالرموز عبر مدخلات النصوص والصور، وضُبط عبر RLHF ونماذج المكافأة القائمة على القواعد (RBRMs) في سياق zero-shot، مع قوانين توسع قابلة للتنبؤ.
📈 حقق النموذج نتائج ضمن أفضل 10% في اختبار Uniform Bar Exam المحاكى (298/400) و86.4% في 5-shot MMLU، مع خفض الاستجابات غير المسموح بها بنسبة 82% مقارنة بـ GPT-3.5.

الملخص

نقدم تقريرًا عن تطوير GPT-4، وهو نموذج واسع النطاق ومتعدد الوسائط قادر على قبول مدخلات من الصور والنصوص وإنتاج مخرجات نصية. ورغم كونه أقل كفاءة من البشر في العديد من سيناريوهات العالم الحقيقي، يُظهر GPT-4 أداءً بمستوى بشري في مختلف المعايير المهنية والأكاديمية، بما في ذلك اجتياز اختبار نقابة المحامين المحاكى بدرجة تقع ضمن أعلى 10% من المتقدمين للاختبار. GPT-4 هو نموذج معتمد على Transformer ومُدرّب مسبقًا للتنبؤ بالرمز التالي في المستند. وتؤدي عملية المحاذاة اللاحقة للتدريب إلى تحسين الأداء في مقاييس الصحة الواقعية والالتزام بالسلوك المنشود. وكان تطوير بنية تحتية وطرق تحسين تتصرف بشكل متوقع عبر نطاق واسع من المقاييس عنصرًا أساسيًا في هذا المشروع، مما أتاح لنا التنبؤ بدقة ببعض جوانب أداء GPT-4 استنادًا إلى نماذج دُرّبت بما لا يتجاوز 1/1,000 من الحوسبة المستخدمة لتدريب GPT-4.

الملخص الأصلي (بالإنجليزية)

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4.

دليل القراءة

المشكلة والدوافع

أظهرت النماذج اللغوية الكبيرة (LLMs) إمكانات واعدة في معالجة اللغة الطبيعية، لكن الإصدارات السابقة (مثل GPT-3.5) أظهرت نقاط ضعف ملحوظة في الاستدلال المعقد، والموثوقية، والدقة الواقعية، والأمان. علاوة على ذلك، يتطلب تدريب النماذج الرائدة الضخمة للغاية ميزانيات حوسبة هائلة، حيث يتعذر إجراء الضبط القياسي للمعلمات الفائقة على النطاق النهائي. يتمثل هدف GPT-4 في بناء نموذج واسع النطاق ومتعدد الوسائط قادر على معالجة مزيج عشوائي من مدخلات الصور والنصوص مع الحفاظ على سلوك توسع يمكن التنبؤ به وتحقيق أمان ومحاذاة محسّنين بشكل كبير.

الأفكار الرئيسية

التوسع القابل للتنبؤ (Predictable Scaling): يمكن تثبيت مسارات التحسين والبنى الهندسية بحيث يمكن استقراء دالة الخسارة للاختبار النهائي ومعايير البرمجة اللاحقة (مثل معدلات اجتياز HumanEval) بشكل موثوق من نماذج أصغر دُرّبت بحوسبة أقل بمقدار $1, 000 \times$ إلى $10, 000 \times$ .
الفهم متعدد الوسائط (Multimodal Understanding): يقبل GPT-4 الصور والنصوص المتداخلة بشكل تعسفي، مؤديًا استدلالًا معقدًا عبر الرسوم البيانية، والمخططات، وأسئلة الامتحانات، والفكاهة البصرية دون التأثير سلبًا على معايير اللغة البحتة.
هيمنة التدريب المسبق مع تدريب لاحق موجه: يوفر التدريب المسبق للنموذج الأساسي قدرات الاستدلال الجوهرية والمعرفة اللازمة للامتحانات (حيث تساوت تقريبًا معدلات أسئلة الاختيار من متعدد بين النموذج الأساسي ونموذج RLHF بنسبة 73.7% مقابل 74.0%)، بينما يوجه RLHF والفحوصات القائمة على القواعد سلوك الأمان والتنسيق والصحة الواقعية.
نماذج المكافأة القائمة على القواعد (RBRMs): تعتمد المحاذاة على مصنفات أمان بمساعدة النموذج تقدم مكافآت مساعدة موجهة أثناء RLHF لتوجيه الرفض المناسب للمطالبات غير المسموح بها وتقليل التحوط المفرط في المطالبات الآمنة.

الطريقة (مع المعادلات الرئيسية)

GPT-4 هو نموذج توليدي ذاتي قائم على Transformer ومُدرّب مسبقًا للتنبؤ بالرمز التالي باستخدام بيانات الويب المتاحة للجمهور وبيانات مرخصة، متبوعًا بـ التعلم التعزيزي من التغذية الراجعة البشرية (RLHF).

1. استقراء قوانين التوسع

لضمان القدرة على التنبؤ بالبنية التحتية دون الحاجة إلى ضبط تجريبي على التشغيل الأساسي، تم التنبؤ بالخسارة النهائية على رموز البرمجة الداخلية باستخدام صيغة الخسارة غير القابلة للاختزال: $L (C) = a C^{b} + c$ حيث تمثل $C$ الحوسبة المعيارية، وتعد $a, b, c$ معلمات تمت ملاءمتها من عمليات تشغيل استخدمت حوسبة أقل بما يصل إلى $10, 000 \times$ .

وللتوسع في القدرات اللاحقة على معيار HumanEval، تمت نمذجة متوسط لوغاريتم معدل الاجتياز عبر مجموعات المسائل الفرعية $P$ عبر: $- E_{P} [lo g (pass_rate (C))] = α \cdot C^{- k}$ مما أتاح تسجيل أداء البرمجة الوظيفي مسبقًا قبل التدريب الأساسي.

2. مسار الأمان بمساعدة النموذج

إلى جانب التغذية الراجعة البشرية، يدمج تحسين RLHF نماذج المكافأة القائمة على القواعد (RBRMs). ونموذج RBRM هو مصنف GPT-4 من نمط zero-shot يقبل:

مطالبة المستخدم (اختياري)،
إكمال نموذج السياسة،
دليل تقييم كتبه بشر (دليل متعدد الفئات يصنف الاستجابات إلى فئات مثل: رفض مرغوب، أو رفض مراوغ/مطول، أو إجابة آمنة، أو محتوى غير مسموح به).

توفر أوزان RBRM المثلى إشارة مكافأة مؤتمتة لتدريب نموذج السياسة على رفض الطلبات الضارة (مثل تهديدات CBRN والهجمات السيبرانية) مع تلبية الطلبات الحميدة في الموضوعات الحساسة المجاورة بشكل موثوق.

النتائج (مع أهم الأرقام)

الامتحانات المهنية والأكاديمية: حقق GPT-4 نتيجة 298/400 (~~المئين 90) في اختبار Uniform Bar Examination (مقارنة بـ 213/400، ~المئين 10 لـ GPT-3.5). وفي اختبار LSAT، حقق 163 (~~المئين 88)، وحصل على 5 في AP Biology، و4 في AP Calculus BC، و4 في AP Chemistry، و5 في AP Art History.
معايير معالجة اللغة الطبيعية الأكاديمية: سجل GPT-4 أرقامًا قياسية جديدة في 5-shot MMLU (86.4% مقابل 70.0% لـ GPT-3.5)، و10-shot HellaSwag (95.3%)، و25-shot ARC Challenge (96.3%)، و0-shot HumanEval (67.0%). وفي 5-shot chain-of-thought GSM-8K، حقق 92.0%.
القدرة متعددة اللغات: أظهرت النسخ المترجمة من MMLU عبر 26 لغة تفوق GPT-4 على الخط الأساسي باللغة الإنجليزية لـ GPT-3.5 وPaLM في 24 لغة، بما في ذلك اللغات منخفضة الموارد مثل اللاتفية (85.5%)، والويلزية (71.4%)، والسواحيلية (82.6%).
الأمان والصحة الواقعية: سجل GPT-4 درجات أعلى بـ 19 نقطة مئوية مقارنة بأحدث إصدار من GPT-3.5 في التقييمات الواقعية الداخلية. وانخفضت معدلات الاستجابات غير المسموح بها بنسبة 82%، وتحسن الالتزام بالطلبات الحساسة بنسبة 29%، وانخفض توليد المحتوى السام في RealToxicityPrompts من 6.48% (GPT-3.5) إلى 0.73%.

القيود والأسئلة المفتوحة

الهلوسة والمعايرة (Hallucinations & Calibration): على الرغم من تقليل الأخطاء الواقعية، لا يزال GPT-4 يهلوس بالحقائق ويقع في هفوات استدلالية بسيطة. وبينما يُظهر النموذج الأساسي المدرب مسبقًا معايرة شبه مثالية، فإن التدريب اللاحق عبر RLHF يضر بالمعايرة بشكل كبير، مما يجعل النموذج المحاذى واثقًا بشكل غير مبرر عندما يخطئ.
تاريخ توقف المعرفة الزمنية: توقفت الغالبية العظمى من بيانات التدريب المسبق في سبتمبر 2021؛ ولا يقوم النموذج بتحديث حالته المعرفية بالعالم باستمرار أو التعلم من تفاعلات النشر المستمرة.
التوسع العكسي وكسر الحماية (Inverse Scaling & Jailbreaks): بعض الأنماط غير البديهية تنعكس فقط مع زيادة الحجم (مثل Hindsight Neglect)، لكن نقاط الضعف تجاه المطالبات العدائية، والتلاعب برسائل النظام، وهجمات كسر الحماية متعددة الخطوات لا تزال قائمة.
غياب الشفافية المعمارية: نظرًا للمنافسة واعتبارات الأمان، لم يتم الكشف عن المواصفات المعمارية (عدد المعلمات، وتصميم MoE، وأحجام مجموعات البيانات، والعتاد، ومقدار الحوسبة الدقيق).

المصطلحات الرئيسية

Multimodal Model (نموذج متعدد الوسائط): نموذج قادر على استيعاب مجموعات عشوائية من مدخلات النصوص والصور لتوليد إكمالات باللغة الطبيعية.
Predictable Scaling (التوسع القابل للتنبؤ): منهجية استخدام عمليات تدريب صغيرة النطاق (تصل إلى حوسبة أقل بـ 10,000 مرة) لملاءمة قوانين القوة بدقة والتنبؤ بالخسارة النهائية وقدرات المهام قبل التدريب واسع النطاق.
Rule-Based Reward Models (RBRMs) (نماذج المكافأة القائمة على القواعد): مصنفات GPT-4 تعمل بنمط zero-shot وتسترشد بأدلة تقييم بشرية لإصدار إشارات مكافأة مساعدة أثناء RLHF لتعزيز حالات الرفض الآمن والإكمالات الآمنة.
Uniform Bar Exam (UBE) (امتحان نقابة المحامين الموحد): امتحان تأهيل قانوني موحد حقق فيه GPT-4 درجة 298/400، واصلًا تقريبًا إلى المئين التسعين بين المتقدمين البشريين للاختبار.
MMLU: اختبار Massive Multitask Language Understanding، وهو معيار يضم 57 تخصصًا يشمل مجالات STEM، والعلوم الإنسانية، والعلوم الاجتماعية، ويُستخدم لتقييم الإجابة عن الأسئلة متعددة المجالات.
Calibration (المعايرة): الدرجة التي يطابق بها الاحتمال المتوقع أو الثقة من النموذج التكرار التجريبي الفعلي لكونه صحيحًا؛ وتكون عالية في GPT-4 المدرب مسبقًا ولكنها تتدهور بواسطة RLHF.
HumanEval: معيار يقيم توليد كود Python من النصوص التوثيقية (docstrings)، وحقق فيه GPT-4 معدل اجتياز 67.0% في إعداد 0-shot.
Inverse Scaling (التوسع العكسي): ظاهرة يسوء فيها أداء النموذج مع زيادة الحوسبة والمعلمات، وهي ظاهرة تمكن GPT-4 من عكسها في مهام مثل Hindsight Neglect.

أسئلة شائعة

ما هي البنية الهندسية أو عدد المعلمات أو تفاصيل العتاد التي تم الكشف عنها لـ GPT-4؟

لم يُكشف عن أي منها. يُسقط التقرير صراحةً حجم النموذج وبنيته وتكوين بياناته وعتاده وإجمالي حوسبة التدريب بسبب البيئة التنافسية والآثار المترتبة على الأمان.

كيف يؤثر RLHF على أداء GPT-4 في الامتحانات الأكاديمية الأساسية؟

يتمتع RLHF بتأثير ضئيل على معرفة الامتحانات الأساسية: سجل نموذج GPT-4 الأساسي متوسط 73.7% في أسئلة الامتحانات متعددة الخيارات مقارنة بـ 74.0% لنموذج RLHF، مما يشير إلى أن القدرة تنبع في المقام الأول من التدريب المسبق.

كيف تم تقييم تلوث البيانات بالنسبة للامتحانات الأكاديمية؟

بحث المؤلفون عن سلاسل نصية فرعية بطول 50 حرفًا من الامتحانات ضمن بيانات التدريب المسبق المرمزة؛ وأدى استبعاد الأسئلة الملوثة إلى اختلافات لا تذكر في الأداء عبر جميع التقييمات تقريبًا.

كيف يؤثر التدريب اللاحق على معايرة النموذج؟

يتميز نموذج GPT-4 المدرب مسبقًا بمعايرة جيدة (حيث تتطابق الثقة مع الدقة)، لكن التدريب اللاحق عبر RLHF يضر بالمعايرة بشكل ملحوظ، مما يجعل النموذج المحاذى يبدي ثقة مفرطة حتى عندما يقع في الخطأ.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي