RLHF

Дообучение по человеческим предпочтениям: модель награды + оптимизация политики.

Ключевые тезисы

Пары сравнений ответов обучают reward-модель.
PPO или DPO настраивают модель под эту награду.
Именно этот этап превращает языковую модель в полезного ассистента.

Тема также относится к главам:Обучение с подкреплениемPolicy-based · Прикладные постановки

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Три стадии выравнивания

SFT → reward model → оптимизация политики.

SFT: дообучение на демонстрациях «запрос — хороший ответ».
Reward model: обучается на парах сравнений «ответ A лучше ответа B».
RL: PPO максимизирует награду с KL-штрафом за отклонение от SFT-модели.

L_{RM} = - lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))

Обозначения

$σ$ стандартное отклонение — разброс величины
$θ$ параметры генеративной модели
$r$ награда, полученная агентом на шаге
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь — то, что минимизируется при обучении

Модель награды учится на предпочтениях, а не на абсолютных оценках

DPO упрощает третий шаг: оптимизирует политику прямо по парам предпочтений, без отдельной модели награды и без RL. Проще, стабильнее и часто не хуже по качеству.

DPO вместо PPO

Прямая оптимизация предпочтений.

L_{DPO} = - lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})

Обозначения

$σ$ стандартное отклонение — разброс величины
$θ$ параметры генеративной модели
$β$ коэффициент сглаживания (инерции)
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь — то, что минимизируется при обучении

DPO обходится без отдельной модели награды и без RL-цикла: обучение выглядит как обычная классификация на парах. Проще в реализации, устойчивее и по качеству сопоставимо с PPO на многих задачах.

Связанные темы

Адаптация языковых моделей

Ключевые тезисы

Подробный разбор

Три стадии выравнивания

DPO вместо PPO

Связанные темы

Prompting80%

Fine-tuning80%

LoRA80%

RAG80%

PPO80%

GPT80%