Gradient Boosting

Последовательное построение деревьев, каждое из которых исправляет ошибки предыдущего ансамбля.

F_{m} (x) = F_{m - 1} (x) + ν h_{m} (x)

Что означает каждый компонент

$F_{m}$ ансамбль после m-й итерации
$F_{m - 1}$ то, что уже построено на прошлых шагах — оно не переобучается заново
$ν$ скорость обучения: доля, с которой новое дерево входит в ансамбль (обычно 0.01–0.1)
$h_{m}$ новое дерево; оно приближает антиградиент потерь — для MSE это просто остатки

Ключевые тезисы

Каждое дерево аппроксимирует антиградиент функции потерь.
Learning rate и число деревьев связаны обратно: меньше шаг — больше итераций.
Стандарт де-факто для табличных задач при наличии достаточного объёма данных.

Подробный разбор

3 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Последовательное исправление ошибок

Каждое следующее дерево учится на том, что не смогли предыдущие.

F_{m} (x) = F_{m - 1} (x) + ν h_{m} (x), h_{m} \approx - \frac{\partial L ( y , F _{m - 1} ( x ))}{\partial F _{m - 1} ( x )}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$L$ функция потерь — то, что минимизируется при обучении
$\partial$ частная производная — чувствительность к одному аргументу

Для MSE антиградиент — это просто остаток $y - F_{m - 1} (x)$ , поэтому первое объяснение бустинга всегда звучит как «второе дерево предсказывает ошибку первого». Для других функций потерь вместо остатка стоит их градиент.

Числовой пример

$y = (10, 20, 30)$ , среднее $F_{0} = 20$ . Остатки: $(- 10, 0, 10)$ . Первое дерево предсказывает их приближённо, скажем $(- 8, 0, 8)$ . При $ν = 0.5$ новый ответ: $(16, 20, 24)$ , остатки уменьшились до $(- 6, 0, 6)$ .

моделей в ансамбле5

MSE на обучении0.205

типбустинг (последовательно)

Ансамбль

Число базовых моделей5

Режим «Бустинг»: добавляйте модели по одной и смотрите, как ступенчатая функция всё точнее повторяет данные

Главные гиперпараметры

Что крутить в первую очередь и как они связаны друг с другом.

Параметр	Эффект	Типичные значения
learning_rate ν	вклад каждого дерева	0.01–0.1
n_estimators	число деревьев	подбирается по early stopping
max_depth	сложность базовой модели	3–8
subsample	доля объектов на дерево	0.7–1.0
colsample	доля признаков на дерево	0.7–1.0

На практике

ν и число деревьев связаны обратно: уменьшили шаг вдвое — увеличивайте число деревьев примерно вдвое. Практика: зафиксировать небольшой ν, поставить заведомо большое число деревьев и остановиться по валидации.

Бустинг и разложение ошибки

Почему бустинг бьёт по смещению, а бэггинг — по разбросу.

Err (x) = систематическая ошибка Bias^{2} + чувствительность к выборке Var + шум σ^{2}

Обозначения

$Var$ дисперсия — мера разброса значений
$σ$ стандартное отклонение — разброс величины
$x$ объект: вектор признаков

Бэггинг берёт глубокие деревья (малое смещение, большой разброс) и усредняет — падает Var.
Бустинг берёт неглубокие деревья (большое смещение, малый разброс) и складывает — падает Bias.
Поэтому бустинг переобучается при слишком большом числе итераций, а случайный лес — почти нет.

степень полинома3

ошибка на train0.568

ошибка на test0.395

диагнозбаланс

Сложность модели (степень)3Уровень шума0.35

Крайности сложности: слева систематическая ошибка, справа — подгонка под шум

Связанные темы

Ансамблирование · Деревья и ансамбли

Ключевые тезисы

Подробный разбор

Последовательное исправление ошибок

Главные гиперпараметры

Бустинг и разложение ошибки

Связанные темы

Random Forest98%

Stacking and Blending85%

Variance85%

Cross-validation85%

Decision Trees85%

XGBoost85%

LightGBM85%

CatBoost85%

SHAP85%

Encoding85%