Weight Decay

Постепенное сжатие весов к нулю на каждом шаге оптимизации.

Ключевые тезисы

Эквивалентно L2-регуляризации в классическом SGD.
В адаптивных методах требует отдельной реализации — см. AdamW.
Обычно не применяется к bias и параметрам нормализации.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Механика и отличие от L2

Одно и то же в SGD и разные вещи в Adam.

w_{t + 1} = (1 - η λ) w_{t} - η g_{t}

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$λ$ сила регуляризации: штраф за сложность модели
$w$ веса модели — то, что подбирается при обучении

Каждый шаг веса умножаются на число чуть меньше единицы

В чистом SGD это в точности эквивалентно добавлению $λ ∥ w ∥^{2}$ к функции потерь. В адаптивных методах эквивалентность ломается — поэтому и существует AdamW.

Типичные значения: $1 0^{- 4}$ для свёрточных сетей, $0.01$ – $0.1$ для трансформеров.
Не применяется к bias, embedding-таблицам и параметрам нормализации.

Подбор коэффициента

Как понять, что decay слишком велик или мал.

Симптом	Вероятная причина
train и val ошибки обе высоки	decay слишком велик — модель зажата
большой разрыв train/val	decay мал — нужна регуляризация
нормы весов растут без остановки	decay отсутствует или обнулён по ошибке

На практике

Полезно логировать среднюю норму весов по слоям: она должна выходить на плато. Растущая норма при стабильных потерях — признак, что регуляризация не работает.

Связанные темы

Переобучение и регуляризация

Ключевые тезисы

Подробный разбор

Механика и отличие от L2

Подбор коэффициента

Связанные темы

Regularization80%

Early Stopping80%

Overfitting80%

Underfitting80%

Variance80%

Random Forest80%