Statistics

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Ключевые тезисы

Смещение и дисперсия оценки — тот же компромисс, что и bias–variance в машинном обучении.
Доверительный интервал говорит о точности оценки, а p-value — о совместимости данных с нулевой гипотезой.
Статистика даёт инструменты для честного сравнения моделей и A/B-тестов.

Подробный разбор

3 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Оценки: от выборки к генеральной совокупности

Почему среднее по 100 наблюдениям — это не «истина», а случайная величина.

Мы никогда не видим всю совокупность — только выборку. Любая статистика, посчитанная по выборке (среднее, доля, AUC модели), сама случайна: на другой выборке она была бы другой. Хорошая оценка несмещена ( $E [θ^] = θ$ ) и имеет малый разброс.

μ^= \frac{1}{n} i = 1 \sum n x_{i}, Var [μ^] = \frac{σ ^{2}}{n}

Обозначения

$Var$ дисперсия — мера разброса значений
$σ$ стандартное отклонение — разброс величины
$μ$ среднее значение
$x$ объект или аргумент функции
$n$ число объектов в выборке
$\sum$ суммирование по всем перечисленным элементам

Точность среднего растёт как

n

: чтобы удвоить точность, нужно вчетверо больше данных

Пример

Модель показала ROC-AUC 0.81 на тесте из 500 объектов. Бутстрэп даёт 95%-й интервал примерно $[0.77, 0.85]$ . Значит, конкурирующая модель с AUC 0.83 не обязательно лучше — разница внутри шума.

Проверка гипотез и p-value

Что на самом деле означает «результат статистически значим».

Формулируется нулевая гипотеза $H_{0}$ («разницы нет»), считается статистика, и оценивается: насколько вероятно получить такие или более экстремальные данные, если $H_{0}$ верна. Эта вероятность и есть p-value.

p-value — это не вероятность того, что гипотеза верна, и не размер эффекта.
Ошибка I рода — «нашли эффект, которого нет»; уровень $α$ (обычно 0.05) её контролирует.
Ошибка II рода — «не заметили реальный эффект»; её контролирует мощность, зависящая от размера выборки.
20 проверок подряд при $α = 0.05$ дают в среднем одно ложное открытие — нужна поправка на множественные сравнения.

На практике

В A/B-тестах самая частая ошибка — «подглядывание»: смотреть результат каждый день и остановиться, как только p < 0.05. Так уровень ошибки I рода вырастает в разы. Размер выборки считается заранее.

Форма распределения и выбор метрики

Среднее, медиана и хвосты: почему для зарплат нельзя брать MSE.

У симметричных распределений среднее и медиана совпадают. У скошенных (доходы, длительность сессий, цены) среднее уезжает в хвост. Метрика, оптимальная для среднего (MSE), в этом случае заставит модель систематически завышать прогноз.

Свойство данных	Что выбрать
Симметричные, без выбросов	MSE / RMSE, оптимум — среднее
Тяжёлые хвосты, выбросы	MAE (оптимум — медиана) или Huber
Логнормальная цель (цены, доходы)	логарифмирование цели, затем RMSE
Счётные данные (число заказов)	распределение Пуассона, Poisson loss

MSE4.00

MAE2.00

Huber1.50

Задача

δ у Huber1.0

Сравните, как MSE, MAE и Huber штрафуют большую ошибку — переключите δ и посмотрите на переход между режимами

Связанные темы

Предельные теоремы · Вероятность и информация · Эксперименты и статистика

Ключевые тезисы

Подробный разбор

Оценки: от выборки к генеральной совокупности

Проверка гипотез и p-value

Форма распределения и выбор метрики

Связанные темы

Confidence intervals95%

Bootstrap95%

Law of Large Numbers80%

Central Limit Theorem80%

Heavy Tails80%

Series and Convergence80%

Limits and Continuity80%

Statistical significance75%

Hypothesis testing75%

A/B testing75%

Ablation studies75%

Probability70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%