Llama 2: Открытые базовые и дообученные диалоговые модели

Разбор статьи

Проблема и мотивация

Хотя открытые предобученные базовые модели, такие как LLaMA-1, BLOOM и Falcon, сравнялись по исходной производительности с моделями уровня GPT-3, закрытые коммерческие чат-ассистенты (например, ChatGPT, Claude) сохраняли существенное лидерство. Это преимущество достигалось за счет интенсивного выравнивания (alignment) после предобучения с помощью instruction tuning и обучения с подкреплением на основе отзывов человека (RLHF), что требует огромных вычислительных мощностей, проприетарных пайплайнов разметки и red-teaming. Meta разработала и открыто выпустила Llama 2 и Llama 2-Chat (версии 7B, 13B и 70B параметров, а также невыпущенную версию 34B), чтобы демократизировать выровненные диалоговые модели и предоставить прозрачную методологию выравнивания и обеспечения безопасности.

Ключевые идеи

• Расширенное предобучение: Предобучение проведено на 2,0 триллионах токенов (на 40% больше, чем у Llama 1) с удвоенным контекстом в 4096 токенов; механизм Grouped-Query Attention (GQA) внедрен для моделей 34B и 70B для ускорения авторегрессионного декодирования.
• SFT с упором на качество: Показано, что десятки тысяч высококачественных примеров от профессиональных вендоров превосходят миллионы зашумленных сторонних примеров; SFT был ограничен 27 540 тщательно отобранными демонстрациями.
• Двойное моделирование наград (Dual Reward Modeling): Обучаются две отдельные модели наград — одна для полезности (Helpfulness), другая для безопасности (Safety), чтобы исключить конфликт компромиссов, при котором требования безопасности снижают полезность ответов.
• Двухэтапное выравнивание RLHF: Сочетает итеративное дообучение методом Rejection Sampling (дистиллированное из 70B) с последующей оптимизацией через Proximal Policy Optimization (PPO).
• Ghost Attention (GAtt): Метод дистилляции контекста в многошаговых диалогах, позволяющий сохранять действие системных инструкций на протяжении 20+ реплик без их угасания.

Метод

Архитектура предобучения

Llama 2 использует архитектуру авторегрессионного трансформера с предварительной нормализацией RMSNorm, функциями активации SwiGLU и ротационными позиционными эмбеддингами (RoPE). В более крупных версиях (34B и 70B) используется GQA. Модели обучались с оптимизатором AdamW (${\beta }_1=0.9,{\beta }_2=0.95$), косинусным спадом скорости обучения до 10%, weight decay 0,1 и ограничением градиентов (gradient clipping) 1,0.

Моделирование вознаграждения (Reward Modeling)

Асессоры оценивают предпочтения между двумя сгенерированными ответами по 4-балльной шкале. Модели вознаграждения инициализируются из чекпоинтов предобученных чат-моделей и оптимизируются с использованием функции потерь бинарного ранжирования с отступом (margin): $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ где $x$ — контекст промпта, $y_c$ — предпочтительный ответ, $y_r$ — отклоненный ответ, а $m(r)$ — дискретный отступ (margin), зависящий от степени уверенности предпочтения разметчика.

Целевые функции RLHF

Оптимизация выполняется посредством Rejection Sampling (сэмплирование $K$ вариантов из актуальной политики с выбором лучшего по оценке модели наград) и PPO. Функция потерь PPO максимизирует ожидаемую награду, штрафуя отклонение от начальной политики ${\pi }_0$ через дивергенцию Кульбака — Лейблера: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ где ${\tilde{R}}_c(g\mid p)$ — стандартизированная и преобразованная логитом кусочная комбинация моделей наград за безопасность ($R_s$) и полезность ($R_h$): $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{если }\text{textsc}is\_safety(p)\text{ или }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{в противном случае}\end{array}$$

Ghost Attention (GAtt)

Для поддержания консистентности инструкций на нескольких шагах диалога инструкция $inst$ искусственно дописывается к каждой реплике пользователя в существующем диалоге. Ответы сэмплируются из последней политики, но функция потерь рассчитывается исключительно по токенам целевой реплики (обнуляя лосс на предыдущих шагах), в то время как во время инференса инструкция $inst$ остается только в первом шаге диалога.

Результаты

• Бенчмарки базовых моделей: Llama 2 70B опережает все открытые базовые модели, набирая 68,9 на MMLU (5-shot), 56,8 на GSM8K (8-shot) и 51,2 на Big-Bench Hard (3-shot), приближаясь к уровню GPT-3.5 и PaLM-540B.
• Оценка диалогов экспертами: В оценках людьми на выборке около 4 000 промптов Llama 2-Chat 70B показала 36% побед и 31,5% ничьих против ChatGPT (gpt-3.5-turbo-0301). Llama 2-Chat 34B выиграла более чем 75% прямых сравнений против Vicuna-33B и Falcon 40B.
• Безопасность и токсичность: Выравнивание безопасности в Llama 2-Chat снизило генерацию токсичного контента на бенчмарке ToxiGen с 24,60% (у базовой 70B) до 0,01%, показав меньшую долю нарушений безопасности, чем ChatGPT и Falcon, в тестах с участием red teams.

Ограничения и открытые вопросы

• Написание кода и сложные рассуждения: Llama 2 70B существенно отстает от GPT-4 и PaLM-2-L на бенчмарках по программированию (pass@1 на HumanEval составляет 29,9% против 67,0% у GPT-4).
• Языковое покрытие: Около 89,7% данных предобучения представлены на английском языке, что снижает качество работы и надежность выравнивания безопасности на других языках.
• Ложные отказы (False Refusals) и избыточный консерватизм: Строгие фильтры безопасности приводят к отказам на пограничных, но безвредных запросах (например, содержащих слова «bomb» или кулинарные термины вроде «Christmas Crack»).
• Задержка релиза версии 34B: Модель 34B не была выпущена публично из-за нехватки времени на полноценный red-teaming до момента публикации.