A/B testing

Онлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.

Ключевые тезисы

Размер выборки считается до запуска, а не после.
Подглядывание в результаты по ходу теста раздувает ошибку I рода.
Офлайн-метрика и бизнес-метрика расходятся чаще, чем хотелось бы.

Тема также относится к главам:Теория вероятностей и распределенияПрименение в ML Системный дизайн ML-сервисовЭксплуатация

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Дизайн эксперимента

Размер выборки, метрика и длительность считаются заранее.

n \approx \frac{2 ( z _{1 - α /2} + z _{1 - β} ) ^{2} σ ^{2}}{Δ ^{2}}

Обозначения

$σ$ стандартное отклонение — разброс величины
$α$ уровень значимости — допустимая вероятность ложного открытия
$β$ вероятность ошибки II рода (единица минус мощность)
$Δ$ приращение — малое изменение величины
$n$ число объектов в выборке

Δ

— минимальный эффект, который вы хотите различать (MDE)

Пример

Конверсия 5%, хотим заметить прирост в 0.5 п.п. при $α = 0.05$ и мощности 80% — нужно порядка 30 000 пользователей на группу. Если трафика меньше, эксперимент бессмысленно запускать: он не различит такой эффект.

Типичные ошибки

Подглядывание, метрики-прокси и нарушение независимости.

Подглядывание: остановка теста в момент, когда p < 0.05, увеличивает ошибку I рода в несколько раз. Нужны заранее фиксированный срок или последовательные тесты.
Сетевые эффекты: пользователи взаимодействуют между собой (соцсети, маркетплейсы) — независимость нарушена, нужна кластерная рандомизация.
Не та метрика: рост CTR при падении выручки — классический результат оптимизации прокси-метрики.
Новизна: первые дни поведение меняется просто из-за смены интерфейса; смотрите на стабилизировавшийся период.

На практике

Офлайн-метрика и продуктовый эффект связаны слабо. Прирост ROC-AUC на 0.01 может дать нулевую разницу в деньгах, а иногда и отрицательную.

Связанные темы

Решения в условиях неопределённости · Онлайн-эксперименты · Эксперименты и статистика

Ключевые тезисы

Подробный разбор

Дизайн эксперимента

Типичные ошибки

Связанные темы

Experiment Infrastructure97%

Hypothesis testing96%

Statistical significance96%

Binomial & Bernoulli85%

Central Limit Theorem85%

Multi-armed Bandits80%

Offline RL80%

Beta Distribution80%

Bayesian Optimization80%

Confidence intervals75%

Bootstrap75%

Ablation studies75%

Statistics75%