Integral

Определённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает математическое ожидание.

E [f (X)] = \int f (x) p (x) d x

Что означает каждый компонент

$f (x)$ величина, среднее которой мы хотим получить (например, ошибка модели)
$p (x)$ плотность распределения данных — вес каждой точки
$d x$ суммирование по всем возможным значениям. На практике интеграл заменяют средним по выборке

Ключевые тезисы

Функция плотности интегрируется в единицу — это определение непрерывного распределения.
Ожидание, дисперсия, энтропия и KL-дивергенция записываются интегралами.
Большинство интегралов в ML не берутся аналитически и оцениваются методом Монте-Карло.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Интеграл как ожидание

Главное применение интеграла в ML.

E [f (X)] = \int_{- \infty}^{\infty} f (x) p (x) d x

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$x$ аргумент функции — точка, в которой её рассматривают
$p$ показатель степени или вероятность — зависит от формулы
$f (x)$ функция, о которой идёт речь
$\int$ интегрирование — непрерывный аналог суммы

Функция потерь на всей популяции, энтропия, KL-дивергенция, ELBO вариационного автоэнкодера — всё это интегралы. Почти ни один из них не берётся аналитически, поэтому их заменяют средним по выборке.

\int f (x) p (x) d x \approx \frac{1}{N} i = 1 \sum N f (x_{i}), x_{i} \sim p

Обозначения

$x$ аргумент функции — точка, в которой её рассматривают
$n$ номер члена последовательности или порядок производной
$p$ показатель степени или вероятность — зависит от формулы
$f (x)$ функция, о которой идёт речь
$\sum$ суммирование по всем перечисленным элементам
$\int$ интегрирование — непрерывный аналог суммы

Оценка Монте-Карло: точность

O (1/ N)

независимо от размерности

Функция распределения и квантили

Интеграл плотности — это вероятность.

F (x) = \int_{- \infty}^{x} p (t) d t, q_{α} = F^{- 1} (α)

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$x$ аргумент функции — точка, в которой её рассматривают
$p$ показатель степени или вероятность — зависит от формулы
$q$ распределение, предсказанное моделью
$\int$ интегрирование — непрерывный аналог суммы

AUC ROC — тоже интеграл: площадь под кривой.
Квантильная регрессия оптимизирует pinball loss и предсказывает квантиль, а не среднее.
Метод обратной функции распределения — базовый способ сэмплировать из произвольного распределения.

Связанные темы

Аппарат анализа

Ключевые тезисы

Подробный разбор

Интеграл как ожидание

Функция распределения и квантили

Связанные темы

Limits and Continuity85%

Derivative85%

Differentiation Rules85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Differential Equations85%

Calculus85%

Gradient85%

Hessian85%

Backpropagation85%