Probability Axioms — Аксиомы вероятности

Три аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.

P (Ω) = 1, P (A) \geq 0, P (i ⋃ A_{i}) = i \sum P (A_{i})

Обозначения

Ключевые тезисы

Вероятность — мера на пространстве элементарных исходов, а не «частота» по определению.
Из аксиом следуют формула включений-исключений и правило дополнения.
Частотная и байесовская интерпретации согласуются с одними и теми же аксиомами.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Три правила, из которых следует всё остальное.

Неотрицательность: $P (A) \geq 0$ .
Нормировка: $P (Ω) = 1$ .
Счётная аддитивность: вероятность объединения непересекающихся событий равна сумме вероятностей.

P (A \cup B) = P (A) + P (B) - P (A \cap B)

Формула включений-исключений — прямое следствие аксиом

Один аппарат, два взгляда на смысл числа.

	Частотная	Байесовская
Что такое вероятность	предел частоты при многих повторениях	степень уверенности
Параметр модели	фиксированное неизвестное число	случайная величина с распределением
Типичный вывод	доверительный интервал	апостериорное распределение

На практике

Спор об интерпретации редко влияет на практику: обе школы пользуются одними аксиомами. Важнее понимать, что именно вы посчитали и как это читать.

Байесовский подход

Параметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.

Процесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.

Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.

Две величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.

Отображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.

Правило пересчёта вероятности гипотезы после получения новых данных.

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.

Строит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.