Bootstrap

Многократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.

Ключевые тезисы

Out-of-bag объекты (≈36.8%) служат тестом.
Позволяет строить интервалы для любой метрики, включая AUC.
Лежит в основе бэггинга и случайного леса.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как работает бутстрэп

Мы не можем собрать новую выборку — значит, будем пересобирать имеющуюся.

Из выборки размера $n$ берём $n$ объектов с возвращением.
Считаем на ней интересующую статистику (метрику модели, среднее, разницу метрик).
Повторяем $B$ раз (обычно 1000).
Получаем эмпирическое распределение статистики — из него берём интервал.

P (объект не попал) = (1 - \frac{1}{n})^{n} n \to \infty e^{- 1} \approx 0.368

Обозначения

$n$ число объектов в выборке
$\to$ сходимость: выражение слева стремится к тому, что справа
$exp$ экспонента

Те самые 36.8% out-of-bag объектов

import numpy as np
scores = []
for _ in range(1000):
    idx = np.random.randint(0, len(y_true), len(y_true))
    scores.append(roc_auc_score(y_true[idx], y_pred[idx]))
lo, hi = np.percentile(scores, [2.5, 97.5])   # 95% интервал

Сравнение двух моделей бутстрэпом

Строим интервал не для метрики, а для разницы.

diffs = []
for _ in range(2000):
    idx = np.random.randint(0, n, n)
    diffs.append(score(y[idx], pred_a[idx]) - score(y[idx], pred_b[idx]))
lo, hi = np.percentile(diffs, [2.5, 97.5])
print(f"разница {np.mean(diffs):.4f}, интервал [{lo:.4f}, {hi:.4f}]")

Если интервал разницы содержит ноль, у вас нет оснований утверждать, что одна модель лучше другой. Это гораздо информативнее сравнения двух отдельных интервалов.

Связанные темы

Предельные теоремы · Утечки и честная валидация · Эксперименты и статистика

Ключевые тезисы

Подробный разбор

Как работает бутстрэп

Сравнение двух моделей бутстрэпом

Связанные темы

Confidence intervals95%

Statistics95%

Data leakage85%

Train / Validation / Test split85%

Data leakage85%

Cross-validation85%

K-Fold85%

Stratified K-Fold85%

Leave-One-Out85%

Normalization & Standardization85%

Law of Large Numbers80%

Central Limit Theorem80%

Heavy Tails80%

Series and Convergence80%

Limits and Continuity80%

Statistical significance75%

Hypothesis testing75%

A/B testing75%

Ablation studies75%