Binomial & Bernoulli — Бернулли и биномиальное

Один успех или число успехов в серии независимых испытаний — базовая модель конверсии и кликов.

P (X = k) = (k n) p^{k} (1 - p)^{n - k}

Что означает каждый компонент

$(k n)$ число способов выбрать, какие именно k испытаний оказались успешными
$p^{k}$ вероятность k успехов подряд
$(1 - p)^{n - k}$ вероятность остальных неудач

Ключевые тезисы

Дисперсия $n p (1 - p)$ максимальна при $p = 0.5$ — отсюда требования к размеру выборки в A/B-тестах.
Нормальное приближение работает при $n p > 5$ и $n (1 - p) > 5$ .
Логистическая регрессия — это модель условного распределения Бернулли.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Размер выборки для конверсии

Практический расчёт для A/B-теста.

n \approx \frac{2 ( z _{1 - α /2} + z _{1 - β} ) ^{2} p ( 1 - p )}{Δ ^{2}}

Обозначения

$α$ показатель степенного закона: чем он меньше, тем тяжелее хвост
$β$ коэффициент сглаживания (инерции)
$Δ$ приращение — малое изменение величины
$n$ число наблюдений или испытаний
$p$ вероятность события

Пример

$p = 0.05$ , хотим заметить прирост $Δ = 0.005$ при α = 0.05 и мощности 80%: $n \approx 2 \cdot (1.96 + 0.84)^{2} \cdot 0.0475/0.000025 \approx 29800$ на группу.

Интервалы для доли

Почему нормальное приближение подводит на малых числах.

Вальд ( $p^\pm z p^(1 - p^) / n$ ) даёт бессмысленные границы при $p^$ около 0 или 1.
Вилсон и Клоппер — Пирсон корректны при малых выборках.
При 0 успехов из 20 честная верхняя граница — около 14%, а не 0%.

Связанные темы

Распределения и их хвосты · Онлайн-эксперименты

Experiment Infrastructure85%

Инфраструктура экспериментов · Системный дизайн ML-сервисов

Механика раскатки: разделение трафика, стабильные группы, метрики и автоматический откат.

A/B testing85%

A/B-тестирование · Оценка моделей

Онлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.

Hypothesis testing85%

Проверка гипотез · Оценка моделей

Формальная процедура принятия решения на основе данных: нулевая гипотеза, статистика, уровень значимости.

Statistical significance85%

Статистическая значимость · Оценка моделей

Проверка, что разница между моделями не объясняется случайностью выборки.

Central Limit Theorem85%

Центральная предельная теорема · Теория вероятностей и распределения

Сумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.

Normal Distribution80%

Нормальное распределение · Теория вероятностей и распределения

Колоколообразное распределение с двумя параметрами. Максимально энтропийное при заданных среднем и дисперсии — поэтому его берут «по умолчанию».

Log-normal Distribution80%

Логнормальное распределение · Теория вероятностей и распределения

Величина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.

Power Law80%

Степенное распределение · Теория вероятностей и распределения

Плотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.

Poisson Distribution80%

Распределение Пуассона · Теория вероятностей и распределения

Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.

Exponential Distribution80%

Экспоненциальное распределение · Теория вероятностей и распределения

Время между пуассоновскими событиями. Единственное непрерывное распределение без памяти.

Beta Distribution80%

Бета-распределение · Теория вероятностей и распределения

Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.

Heavy Tails80%

Тяжёлые хвосты · Теория вероятностей и распределения

Распределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.

Probability Distribution80%

Распределение вероятностей · Математический справочник

Закон, задающий вероятности значений случайной величины.

Probability80%

Теория вероятностей · Основы

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.