Технический отчет по GPT-4 (GPT-4 Technical Report)

Разбор статьи

Проблема и мотивация

Большие языковые модели (LLM) показали многообещающие результаты в обработке естественного языка, однако предыдущие итерации (такие как GPT-3.5) демонстрировали заметные слабости в сложных рассуждениях, надежности, фактологической точности и безопасности. Кроме того, обучение масштабных передовых моделей требует колоссальных вычислительных бюджетов, при которых стандартный подбор гиперпараметров на финальном масштабе невозможен. Цель GPT-4 — создать крупномасштабную мультимодальную модель, способную обрабатывать произвольные комбинации изображений и текста, сохраняя предсказуемое поведение масштабирования и значительно улучшенные показатели безопасности и выравнивания (alignment).

Ключевые идеи

• Предсказуемое масштабирование (Predictable Scaling): Пайплайны оптимизации и архитектуры можно стабилизировать настолько, чтобы финальный loss на валидации и метрики на прикладных бенчмарках кодинга (например, pass rate на HumanEval) надежно экстраполировались из небольших моделей, обученных с использованием в $1,000\times$ – $10,000\times$ меньших вычислений.
• Мультимодальное понимание: GPT-4 принимает произвольно чередующиеся изображения и текст, выполняя сложные рассуждения по графикам, диаграммам, экзаменационным вопросам и визуальному юмору без деградации на чисто языковых бенчмарках.
• Доминирование предобучения с точечным пост-обучением: Предобучение базовой модели закладывает ключевые рассуждения и академические знания (средние баллы на тестах с множественным выбором у базовой модели и версии после RLHF практически одинаковы: 73,7% против 74,0%), в то время как RLHF и проверки на основе правил управляют безопасностью, форматированием и фактологичностью.
• Rule-Based Reward Models (RBRMs): Выравнивание опирается на классификаторы безопасности с поддержкой модели, которые предоставляют целевые вспомогательные награды в процессе RLHF для корректного отклонения запрещенных запросов и снижения излишней осторожности на безопасных запросах.

Метод (с ключевыми формулами)

GPT-4 — это авторегрессионная модель на базе Transformer, предобученная предсказывать следующий токен на общедоступных веб-данных и лицензированных датасетах, с последующим применением Reinforcement Learning from Human Feedback (RLHF).

1. Экстраполяция законов масштабирования

Чтобы гарантировать предсказуемость инфраструктуры без эмпирического подбора параметров на основном запуске, финальный loss на внутренних токенах кода прогнозировался с помощью формулы с неустранимыми потерями (irreducible loss): $$L(C)=a{C}^b+c$$ где $C$ обозначает нормализованные вычисления (compute), а $a,b,c$ — параметры, подобранные на запусках с вычислительными затратами до $10,000\times$ меньше.

Для масштабирования прикладных возможностей на HumanEval средний логарифм доли решенных задач по подмножествам задач $P$ моделировался как: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ что позволило зафиксировать ожидаемую производительность написания кода еще до окончания предобучения.

2. Пайплайн безопасности с поддержкой моделей (Model-Assisted Safety Pipeline)

Наряду с обратной связью от людей оптимизация RLHF включает в себя Rule-Based Reward Models (RBRMs). RBRM представляет собой zero-shot классификатор на базе GPT-4, который принимает:

• Промпт пользователя (опционально),
• Ответ обучаемой модели (completion),
• Составленный человеком критерий (мультиклассовую рубрику, классифицирующую ответы по категориям: желаемый отказ, уклончивый/многословный отказ, безопасный ответ или запрещенный контент).

Оптимальные веса RBRM обеспечивают автоматический сигнал награды для обучения модели отклонять вредоносные запросы (например, угрозы РХБЗ/CBRN, кибератаки), при этом надежно отвечая на добросовестные запросы в смежных чувствительных темах.

Результаты (с важнейшими цифрами)

• Профессиональные и академические экзамены: GPT-4 набрала 298/400 (90-й перцентиль) на экзамене Uniform Bar Examination (по сравнению с 213/400, ~10-й перцентиль у GPT-3.5). На LSAT она получила 163 балла (88-й перцентиль), а также оценку 5 на AP Biology, 4 на AP Calculus BC, 4 на AP Chemistry и 5 на AP Art History.
• Академические NLP-бенчмарки: GPT-4 установила новые state-of-the-art рекорды на 5-shot MMLU (86,4% против 70,0% у GPT-3.5), 10-shot HellaSwag (95,3%), 25-shot ARC Challenge (96,3%) и 0-shot HumanEval (67,0%). На бенчмарке с цепочкой рассуждений (chain-of-thought) 5-shot GSM-8K модель показала 92,0%.
• Многоязычные возможности: На переведенных версиях MMLU на 26 языках GPT-4 превзошла англоязычные бейзлайны GPT-3.5 и PaLM на 24 языках, включая низкоресурсные языки, такие как латышский (85,5%), валлийский (71,4%) и суахили (82,6%).
• Безопасность и фактологичность: GPT-4 набрала на 19 процентных пунктов больше, чем последняя версия GPT-3.5, на внутренних оценках фактологичности. Частота запрещенных ответов упала на 82%, следование правилам на чувствительных запросах улучшилось на 29%, а генерация токсичного контента на RealToxicityPrompts снизилась с 6,48% (GPT-3.5) до 0,73%.

Ограничения и открытые вопросы

• Галлюцинации и калибровка (Calibration): Несмотря на снижение количества фактологических ошибок, GPT-4 по-прежнему генерирует галлюцинации и допускает базовые логические сбои. В то время как базовая предобученная модель демонстрирует почти идеальную калибровку, пост-обучение через RLHF значительно ухудшает ее, делая выровненную модель излишне уверенной в своих ошибках.
• Временной срез знаний: Подавляющая часть данных предобучения ограничена сентябрем 2021 года; модель не обновляет картину мира непрерывно и не учится на взаимодействиях в ходе эксплуатации.
• Обратное масштабирование (Inverse Scaling) и джейлбрейки: Некоторые парадоксальные паттерны исправляются только с масштабом (например, Hindsight Neglect), однако уязвимости к состязательным промптам (adversarial prompting), манипуляциям с системными сообщениями и многошаговым джейлбрейкам сохраняются.
• Отсутствие архитектурной прозрачности: Из соображений конкуренции и безопасности спецификации архитектуры (количество параметров, схема MoE, объемы датасетов, аппаратное обеспечение и точные вычислительные затраты) не раскрываются.