Семейство моделей Llama 3

Разбор статьи

Проблема и мотивация

Современные системы искусственного интеллекта в значительной степени полагаются на массивные фундаментальные модели, однако наиболее производительные из них (например, GPT-4) остаются закрытыми. Создание общедоступной модели фронтирного уровня требует преодоления серьезных инженерных барьеров по трем направлениям: подготовка данных, масштабирование вычислительных мощностей и управление сложностью системы.

Авторы разработали Llama 3 — семейство мультиязычных языковых моделей размером 8B, 70B и 405B параметров, поддерживающих контекстное окно до 128K токенов, zero-shot и многошаговое использование внешних инструментов, сложные рассуждения и генерацию программного кода.

Ключевые идеи

• Управление сложностью с помощью плотной архитектуры (Dense): Вместо перехода на архитектуры Mixture-of-Experts (MoE) авторы сделали выбор в пользу стандартного плотного Transformer (126 слоев, размерность 16 384, 128 голов внимания для модели 405B) с Grouped-Query Attention (GQA) и RoPE с базовой частотой $\theta =500,000$ для максимальной стабильности предварительного обучения.
• Масштабирование данных и строгая фильтрация: Объем данных для предобучения вырос с 1,8T токенов в Llama 2 до примерно 15,6T токенов из различных доменов (~50% общих знаний, 25% математики и рассуждений, 17% кода, 8% мультиязычных текстов).
• Предсказуемые законы масштабирования (Scaling Laws): Двухэтапный фреймворк законов масштабирования связывает объем вычислений с эффективностью выполнения прикладных задач (таких как ARC Challenge) на протяжении четырех порядков величины еще до запуска финального обучения.
• Итеративное пост-обучение (Post-Training): Шесть раундов выравнивания (alignment), сочетающих Supervised Fine-Tuning (SFT), Rejection Sampling (RS) и Direct Preference Optimization (DPO) с генерацией целевых синтетических данных.
• 4D-параллелизм и инфраструктура: Обучение 405B на кластере до 16 000 GPU H100 с использованием комбинации Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP) и Fully Sharded Data Parallelism (FSDP/DP).

Метод (с ключевыми формулами)

1. Формулировка закона масштабирования

Оптимальное по вычислениям распределение токенов моделируется как степенная функция от вычислительного бюджета $C$:

$$N^{\star }(C)=A{C}^{\alpha }$$

Эмпирическая аппроксимация для бюджетов от $6\times 10^{18}$ до $10^{22}$ FLOPs определила коэффициенты $(\alpha ,A)=(0.53,0.29)$. Экстраполяция на целевой бюджет в $3.8\times 10^{25}$ FLOPs указала на необходимость обучения модели с 402B параметров на 16,55T токенов, что определило финальную архитектуру размером 405B параметров.

2. Расширение контекстного окна и маскирование внимания

Масштабирование контекста с 8K до 128K токенов происходит в шесть этапов непрерывного дообучения на массиве из ~800B токенов. Чтобы предотвратить взаимное влияние документов, упакованных в одну длинную последовательность контекста, применяется специальная маска внимания на уровне документов (document attention mask).

Context Parallelism (CP) разбивает входные последовательности на $2\times \text{CP}$ блоков, используя коммуникационный паттерн all-gather для представлений ключей ($K$) и значений ($V$). Поскольку GQA снижает размеры $K$ и $V$ относительно запросов ($Q$), накладные расходы на связь all-gather $O(S)$ пренебрежимо малы по сравнению с вычислением внимания $O(S^2)$.

3. Адаптация Direct Preference Optimization (DPO)

При оптимизации предпочтений токены форматирования (заголовки и маркеры завершения) явно исключаются маской из функции потерь DPO во избежание генерации повторяющихся окончаний или преждевременных остановок. Кроме того, к выбранной человеком или моделью последовательности добавляется вспомогательный регуляризационный член отрицательного логарифмического правдоподобия (NLL):

$${\mathcal{L}}_{\text{reg}}=0.2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

Результаты (с главными показателями)

• Бенчмарки флагманской модели 405B:
  • MMLU (5-shot): 87,3% (0-shot CoT: 88,6%)
  • GSM8K (8-shot, CoT): 96,8%
  • MATH (0-shot, CoT): 73,8%
  • HumanEval (0-shot): 89,0%
  • ARC Challenge (0-shot): 96,9%
  • IFEval: 88,6%
• Меньшие модели (8B и 70B): Обе модели превосходят сопоставимые открытые аналоги (например, Gemma 2 9B, Mistral 7B, Mixtral 8x22B). В частности, Llama 3 8B демонстрирует 73,0% на 0-shot CoT MMLU и 84,5% на GSM8K.
• Длинный контекст: 100% точность извлечения в тесте Needle-In-A-Haystack на длине до 128K токенов и 98,1% в тесте Multi-needle recall для модели 405B.
• Эффективность обучения: Использование вычислительной мощности модели (BF16 Model FLOPs Utilization, MFU) достигло 38–43% в различных конфигурациях на 16 384 GPU H100; полезное время обучения составило более 90% за 54-дневный период, несмотря на 466 сбоев.

Ограничения и открытые вопросы

• Надежность оборудования и перепады нагрузки: На масштабе в 16K GPU сбои оборудования происходили в среднем несколько раз в день (78% непредвиденных остановок были вызваны неполадками GPU и аппаратными компонентами). Одновременные скачки потребляемой мощности в десятки мегаватт во время создания контрольных точек (чекпоинтов) или коллективных операций создавали серьезную нагрузку на электросеть дата-центра.
• Уязвимость к состязательным атакам: Несмотря на устойчивость на бенчмарках парафразирования (PAWS), состязательные тесты на математические рассуждения и QA (GSM-Plus, Adv SQuAD) показали существенное падение качества по сравнению со стандартными бенчмарками.
• Доступность мультимодальных версий: Адаптеры для компьютерного зрения и обработки речи показали конкурентоспособные результаты в экспериментах, однако на момент публикации они оставались в активной разработке и не были включены в первоначальный публичный релиз.