Confidence intervals

Показывают точность оценки метрики; одно число без интервала мало о чём говорит.

CI_{95%} = θ^\pm 1.96 \frac{σ ^}{n}

Что означает каждый компонент

$θ^$ точечная оценка — то самое число, которое вы посчитали на тесте
$1.96$ квантиль нормального распределения для 95% уровня доверия
$σ^/ n$ стандартная ошибка: падает как корень из объёма выборки. Вчетверо больше данных — вдвое уже интервал

Ключевые тезисы

Ширина интервала падает примерно как 1/√n.
Пересекающиеся интервалы двух моделей — повод не спешить с выводами.
Бутстрэп-интервалы работают там, где аналитическая формула недоступна.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как построить интервал для метрики

Аналитически, бутстрэпом или по фолдам.

CI_{95%} = θ^\pm 1.96 \frac{σ ^}{n}

Обозначения

$θ^$ оценка параметра по выборке
$σ$ стандартное отклонение — разброс величины
$θ$ параметры модели
$n$ число объектов в выборке

Нормальное приближение — работает при больших

n

и не работает для AUC и медиан

Для метрик со сложным распределением (AUC, F1, NDCG) надёжнее бутстрэп-интервал по перцентилям. Для оценки по кросс-валидации интервал строят по разбросу фолдов, помня, что фолды не независимы.

На практике

Правило большого пальца: ширина интервала падает как $1/ n$ . Чтобы сузить интервал вдвое, нужно вчетверо больше тестовых данных — иногда это дешевле, чем месяц улучшений модели.

Сколько нужно тестовых данных

Обратная задача: от желаемой точности к размеру выборки.

n \approx (\frac{1.96 σ}{полуширина})^{2}

Обозначения

$σ$ стандартное отклонение — разброс величины
$n$ число объектов в выборке

Пример

Хотим оценить accuracy с точностью ±1 п.п. при ожидаемом значении около 0.9: $σ^{2} = 0.9 \cdot 0.1 = 0.09$ , значит $n \approx (1.96 \cdot 0.3/0.01)^{2} \approx 3500$ объектов.

На практике

Это часто вскрывает неприятную правду: тест на 300 объектов не способен различить модели, отличающиеся на 2 процентных пункта.

Связанные темы

Предельные теоремы · Эксперименты и статистика

Ключевые тезисы

Подробный разбор

Как построить интервал для метрики

Сколько нужно тестовых данных

Связанные темы

Bootstrap95%

Statistics95%

Law of Large Numbers80%

Central Limit Theorem80%

Heavy Tails80%

Series and Convergence80%

Limits and Continuity80%

Statistical significance75%

Hypothesis testing75%

A/B testing75%

Ablation studies75%