LLaMA: открытые и эффективные базовые языковые модели

Разбор статьи

Проблема и мотивация

Стандартные законы масштабирования (такие как Chinchilla) определяют оптимальный баланс между числом параметров и размером датасета для фиксированного вычислительного бюджета на обучение. Однако такой подход игнорирует бюджет на инференс (inference budget), который составляет основную долю эксплуатационных расходов за весь жизненный цикл языковых моделей. С точки зрения эффективности обслуживания предпочтительнее использовать более компактные модели, обученные на гораздо большем объеме данных, чем предписывают вычислительно-оптимальные рекомендации, поскольку их хостинг и запуск обходятся существенно дешевле.

Кроме того, передовые модели уровня state-of-the-art (такие как GPT-3, Chinchilla и PaLM) опираются на закрытые, невоспроизводимые датасеты или непомерно большие архитектуры. LLaMA демонстрирует, что конкурентоспособные базовые модели можно обучать исключительно на общедоступных данных, что открывает возможность их свободного распространения среди исследователей.

Ключевые идеи

• Обучение с прицелом на инференс: Вместо остановки обучения при достижении вычислительно-оптимального объема данных (например, ~200B токенов для модели 10B), авторы LLaMA обучают модели 7B и 13B на 1.0T токенов, а модели 33B и 65B — на 1.4T токенов.
• Исключительно открытые датасеты: Все данные для предобучения взяты из публичных источников: CommonCrawl (67%), C4 (15%), GitHub (4.5%), Wikipedia (4.5%), Books (4.5%), ArXiv (2.5%) и Stack Exchange (2%).
• Модернизированная архитектура Transformer: Включает pre-normalization с помощью RMSNorm для стабильности, функции активации SwiGLU и ротационные позиционные эмбеддинги (RoPE) вместо абсолютных позиций.
• Инженерная оптимизация: Применяется эффективное по памяти внимание (через библиотеку xformers), кастомный activation checkpointing, а также параллелизм по последовательностям и моделям.

Метод

LLaMA использует авторегрессионный декодер Transformer со следующими модификациями:

1. Pre-normalization: Нормализация входов с помощью RMSNorm перед каждым подслоем: $${\bar{a}}_i=\frac{a_i}{\text{RMS}(\mathbf{a})}{g}_i,\text{где }\text{RMS}(\mathbf{a})=\sqrt{\frac{1}{d}\sum _{i=1}^d{a}_i^2}$$
2. Активация SwiGLU: Замена стандартных активаций ReLU/GELU на SwiGLU с уменьшением размерности скрытого слоя до $\frac{2}{3}4d$ вместо $4d$.
3. Ротационные эмбеддинги (RoPE): Применяются на каждом слое для кодирования относительных позиций без использования абсолютных позиционных эмбеддингов.
4. Оптимизация: AdamW с параметрами ${\beta }_1=0.9,{\beta }_2=0.95$, weight decay $0.1$, клиппированием градиентов $1.0$, $2\text{,}000$ шагами прогрева (warmup) и косинусным расписанием скорости обучения, спадающим до 10% от максимума. Размер батча составляет 4M токенов для моделей всех масштабов.

Оценка энергопотребления и углеродного следа в процессе обучения рассчитывается следующим образом: $$\text{Wh}=\text{GPU-h}\times (\text{GPU power consumption})\times \text{PUE}$$ $${\text{tCO}}_2\text{eq}=\text{MWh}\times 0.385$$

Результаты

• Рассуждения на основе здравого смысла (Common Sense Reasoning): LLaMA-13B превосходит GPT-3 (175B) на ряде бенчмарков (например, 78.1% против 60.5% на BoolQ; 73.0% против 70.2% на WinoGrande). LLaMA-65B не уступает или превосходит PaLM-540B на PIQA (82.8% против 82.3%) и HellaSwag (84.2% против 83.4%).
• Closed-book QA: На TriviaQA (в режиме 0-shot) LLaMA-65B достигает 68.2%, а LLaMA-13B — 56.6% (превосходя сопоставимые результаты GPT-3, при этом запускаясь на одном GPU V100).
• Генерация кода: На HumanEval (pass@1) LLaMA-65B набирает 23.7%, превосходя PaLM-62B (15.9%) и показывая одинаковый результат с PaLM-cont 62B (23.7%).
• MMLU и тюнинг инструкций: Базовая LLaMA-65B достигает точности 63.4% в режиме 5-shot на MMLU (уступая 69.3% модели PaLM-540B, предположительно из-за меньшего объема книжных корпусов при предобучении). Однако дообучение на простых инструкциях (LLaMA-I 65B) поднимает качество до 68.9%.

Ограничения и открытые вопросы

• Галлюцинации и правдивость: Результаты на TruthfulQA остаются умеренными (LLaMA-65B получает 0.57 по шкале Truthful и 0.53 по шкале Truthful*Informative), что указывает на сохраняющуюся склонность к галлюцинациям.
• Рост токсичности: На RealToxicityPrompts уровень токсичности растет вместе с размером модели, особенно на уважительных промптах (0.141 для 65B против 0.081 для 7B).
• Пробел в академических знаниях: Результаты на MMLU отставали от Chinchilla-70B и PaLM-540B; авторы связывают это с тем, что обучение проводилось лишь на ~177 ГБ книг и научных статей по сравнению с ~2 ТБ в проприетарных наборах.