Expectation

Среднее значение случайной величины по её распределению.

E [X] = x \sum x p (x)

Что означает каждый компонент

$x$ значение, которое может принять величина
$p (x)$ вес этого значения — его вероятность. Ожидание = взвешенное среднее

Ключевые тезисы

Линейно: E[aX + bY] = aE[X] + bE[Y].
Функция потерь — это ожидание ошибки по распределению данных.
Оценивается средним по выборке.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Линейность и её следствия

Самое полезное свойство во всей теории вероятностей.

E [a X + bY] = a E [X] + b E [Y]

Работает всегда, даже для зависимых величин

Отсюда следует, что ожидаемое предсказание ансамбля равно среднему ожидаемых предсказаний его моделей — а вот дисперсия так себя не ведёт, и именно поэтому усреднение помогает.

Оценка методом Монте-Карло

Когда интеграл не берётся аналитически.

E [f (X)] \approx \frac{1}{N} i = 1 \sum N f (x_{i}), x_{i} \sim p (x)

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$x$ вектор или точка пространства признаков
$n$ размерность пространства или число объектов
$p$ вероятность (или показатель нормы)
$f (x)$ функция, о которой идёт речь
$\sum$ суммирование по всем перечисленным элементам

Точность растёт как $1/ N$ и, что важно, не зависит от размерности — поэтому Монте-Карло применяют там, где численное интегрирование по сетке невозможно. Именно так оцениваются ELBO в VAE и градиенты политики в RL.

Связанные темы

Вероятность и информация

Ключевые тезисы

Подробный разбор

Линейность и её следствия

Оценка методом Монте-Карло

Связанные темы

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%