Hypothesis testing — Проверка гипотез

Формальная процедура принятия решения на основе данных: нулевая гипотеза, статистика, уровень значимости.

Ключевые тезисы

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Пять шагов, одинаковых для любого теста.

Сформулировать $H_{0}$ (эффекта нет) и $H_{1}$ .
Выбрать уровень значимости $α$ до эксперимента.
Посчитать статистику критерия.
Получить p-value — вероятность такого или более экстремального результата при верной $H_{0}$ .
Сравнить с $α$ и сделать вывод — только о $H_{0}$ , не о «доказанной» $H_{1}$ .

Правильный способ сравнить два классификатора на одном тесте.

	B верно	B неверно
A верно	$n_{11}$	$n_{10}$
A неверно	$n_{01}$	$n_{00}$

χ^{2} = \frac{( ∣ n _{10} - n _{01} ∣ - 1 ) ^{2}}{n _{10} + n _{01}}

Важны только объекты, где модели разошлись

Логика проста: совпадающие ответы ничего не говорят о разнице между моделями. Если из 100 расхождений 70 в пользу A — это уже статистически значимо.

Онлайн-эксперименты · Эксперименты и статистика

Онлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.

Проверка, что разница между моделями не объясняется случайностью выборки.

Механика раскатки: разделение трафика, стабильные группы, метрики и автоматический откат.

Один успех или число успехов в серии независимых испытаний — базовая модель конверсии и кликов.

Сумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.

Показывают точность оценки метрики; одно число без интервала мало о чём говорит.

Многократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.

Поочерёдное отключение компонентов, чтобы понять, что именно даёт прирост качества.

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.