AdamW

Adam с корректно отделённым weight decay — регуляризация применяется к весам, а не к градиенту.

Ключевые тезисы

В обычном Adam L2-штраф искажается адаптивным масштабированием.
Де-факто стандарт обучения трансформеров.
Типичный weight decay: 0.01–0.1.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Отвязанный weight decay

Тонкость, из-за которой Adam долго проигрывал в качестве.

Adam + L2: g_{t} \leftarrow g_{t} + λ w_{t} \Rightarrow штраф делится на v^_{t}

Обозначения

$λ$ сила регуляризации: штраф за сложность модели
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь — то, что минимизируется при обучении

AdamW: w_{t + 1} = w_{t} - η (\frac{m ^ _{t}}{v ^ _{t} + ε} + λ w_{t})

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$λ$ сила регуляризации: штраф за сложность модели
$ε$ малая величина: шум, допуск или защита от деления на ноль
$w$ веса модели — то, что подбирается при обучении

Штраф применяется к весам напрямую, минуя адаптивное масштабирование

В обычном Adam параметры с большими градиентами получают ослабленную регуляризацию — это не то, что задумано. AdamW разделяет два механизма, и weight decay снова работает предсказуемо.

На практике

К bias и параметрам нормализации weight decay обычно не применяют: их сжатие к нулю только мешает.

Готовый рецепт для трансформеров

Набор значений, с которого стоит начинать.

optimizer = torch.optim.AdamW(
    [{"params": decay_params,    "weight_decay": 0.1},
     {"params": no_decay_params, "weight_decay": 0.0}],
    lr=3e-4, betas=(0.9, 0.95), eps=1e-8)

scheduler = get_cosine_schedule_with_warmup(
    optimizer, num_warmup_steps=2000, num_training_steps=total_steps)

no_decay: bias, LayerNorm, эмбеддинги

На практике

$β_{2} = 0.95$ вместо стандартных 0.999 — распространённая практика для больших языковых моделей: оценка второго момента адаптируется быстрее и обучение устойчивее.

Связанные темы

Оптимизаторы

Ключевые тезисы

Подробный разбор

Отвязанный weight decay

Готовый рецепт для трансформеров

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Momentum85%

Adam85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%