Constitutional AI: Harmlessness from AI Feedback

Разбор статьи

Проблема и мотивация

Стандартное обучение с подкреплением на основе обратной связи от человека (RLHF) сталкивается с рядом узких мест при выравнивании (alignment) языковых ассистентов:

• Сильная зависимость от человеческой разметки вредоносности: сбор десятков тысяч сравнений предпочтений людей для оценки вредоносности обходится дорого и подвергает разметчиков воздействию токсичного контента.
• Уклончивость и ущерб полезности: модели, обученные с помощью RLHF, часто привыкают отвечать на деликатные промпты шаблонными отказами вроде «Я не могу ответить на это», жертвуя полезностью и прозрачностью.
• Непрозрачность: тысячи закрытых меток предпочтений делают точные цели выравнивания неявными и трудными для проверки или аудита.

Constitutional AI (CAI) нацелен на масштабирование контроля путем замены человеческих аннотаций вредоносности явными принципами на естественном языке (конституцией), обучая ИИ самокритике, редактированию и генерации собственной обратной связи по предпочтениям.

Ключевые идеи

• Конституция принципов: поведение полностью направляется небольшим набором правил на естественном языке (примерно 16 принципов), а не метками вредоносности от людей.
• Двухэтапный пайплайн: этап обучения с учителем (Supervised Learning, SL) адаптирует распределение ответов модели с помощью самокритики и правок, за которым следует этап обучения с подкреплением на основе обратной связи от ИИ (RLAIF), обучающий модель предпочтений на сгенерированных моделью сравнениях.
• Взаимодействие вместо уклончивости: ассистента направляют объяснять возражения против вредоносных запросов, а не выдавать категорические отказы.
• Контроль через цепочки рассуждений (Chain-of-Thought, CoT): использование пошаговых рассуждений при оценке существенно улучшает способность модели выявлять вредоносность и оценивать предпочтения при множественном выборе.

Метод

1. Этап обучения с учителем (Critique $\to$ Revision $\to$ SL-CAI)

1. Сэмплирование начального ответа из полезной RLHF-модели по red-teaming промпту $x$.
2. Запрос к модели для самокритики собственного ответа в соответствии со случайно выбранным конституционным принципом: $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Запрос к модели для исправления ответа с учетом критики: $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Итеративное повторение шагов критики и правок (обычно до 4 итераций правок).
5. Тонкая настройка предобученной языковой модели на исправленных ответах, объединенных с демонстрационными данными полезности (182 831 red-teaming промптов, 135 296 промптов полезности) в течение одной эпохи с размером батча 1024.

2. Этап обучения с подкреплением (RLAIF)

1. Используя модель SL-CAI, сэмплируются пары ответов $(y_A,y_B)$ для промптов.
2. Диалог, пара ответов и выбранный принцип передаются модели обратной связи в формате множественного выбора (опционально с использованием Chain-of-Thought промптинга).
3. Расчет нормализованных целевых вероятностей на основе логитов завершения модели обратной связи: $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ При использовании Chain-of-Thought целевые вероятности ограничиваются диапазоном $[0.40,0.60]$ во избежание чрезмерной уверенности модели.
4. Обучение модели предпочтений (Preference Model, PM) на смешанных данных: 135 296 размеченных людьми сравнений полезности и 182 831 сгенерированных ИИ сравнений безопасности (harmlessness).
5. Оптимизация политики SL-CAI относительно этой модели предпочтений с помощью RL.

Результаты

• Улучшения по Парето: оценки краудворкеров (на основе 10 274 сравнений полезности и 8 135 сравнений безопасности) показывают, что модели 52B RL-CAI достигают более высоких показателей безопасности по шкале Elo при эквивалентной полезности по сравнению с моделями, обученными на человеческих метках безопасности.
• Снижение уклончивости: когда краудворкерам прямо предписывалось предпочитать аргументированные объяснения уклончивым отказам, модели RL-CAI стабильно превосходили стандартные модели HH RLHF.
• Масштабирование обратной связи от ИИ: более крупные модели (52B) с Chain-of-Thought рассуждениями приблизились по точности к моделям, обученным на предпочтениях людей, в бенчмарках оценки HHH (достигая более 80–90% точности при бинарной классификации вредоносности в формате множественного выбора).
• Критика против прямого исправления: генерация критики дала заметное улучшение показателей безопасности для меньших моделей, показав при этом немного более высокие или эквивалентные результаты на моделях 52B по сравнению с прямым редактированием.

Ограничения и открытые вопросы

• Зависимость от человеческих меток полезности: эксперименты исключили обратную связь от людей только для критерия безопасности; данные о полезности по-прежнему опирались на парные сравнения, размеченные людьми.
• Закон Гудхарта и сверхоптимизация: продолжительное RL-обучение иногда приводило к морализаторскому или шаблонному стилю общения (например, к навязчивым фразам вроде «Вас ценят, уважают и о вас заботятся»).
• Калибровка целевых вероятностей CoT: поскольку пошаговые рассуждения Chain-of-Thought заставляют модель жестко склоняться к одному варианту, потребовалось искусственное сужение вероятностей (probability clamping) в качестве эвристики для поддержания стабильности модели предпочтений.
• Риски двойного назначения (Dual-Use): снижение барьера аннотирования для управления языковыми моделями также упрощает обучение моделей вредоносным целям без участия и надзора со стороны человека.