Процесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.
- вся история процесса
- только текущее состояние. Марковское свойство: история не добавляет информации сверх настоящего
Ключевые тезисы
- Матрица переходов полностью описывает динамику; стационарное распределение — её собственный вектор.
- Эргодичность гарантирует существование и единственность стационарного распределения.
- MCMC использует цепь, стационарное распределение которой равно искомому апостериорному.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Стационарное распределение
Куда сходится цепь и когда.
- суммирование по всем перечисленным элементам
- число π ≈ 3.14159
- Неразложимость и апериодичность гарантируют единственность и сходимость.
- PageRank — стационарное распределение блуждания по веб-графу с телепортацией.
- Скорость сходимости определяется вторым по величине собственным значением.
2MCMC
Как сэмплировать из сложного распределения.
Идея: построить цепь, стационарное распределение которой совпадает с искомым апостериорным. Алгоритм Метрополиса — Гастингса делает это, принимая или отклоняя предложенные переходы.
- значение случайной величины
- вероятность события
- распределение, предсказанное моделью
Диагностика обязательна: несколько цепей, показатель близкий к 1, достаточный эффективный размер выборки. Современный стандарт — NUTS в Stan, PyMC или NumPyro.
Связанные темы
Байесовский подход
Bayesian Inference75%
Байесовский вывод · Теория вероятностей и распределенияПараметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.
Beta Distribution75%
Бета-распределение · Теория вероятностей и распределенияРаспределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.
Conditional Independence75%
Условная независимость · Теория вероятностей и распределенияДве величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.
Probability Axioms75%
Аксиомы вероятности · Теория вероятностей и распределенияТри аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.
Random Variables75%
Случайные величины · Теория вероятностей и распределенияОтображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.
Bayes Theorem75%
Теорема Байеса · Математический справочникПравило пересчёта вероятности гипотезы после получения новых данных.
Naive Bayes75%
Наивный байесовский классификатор · Классическое машинное обучениеПрименяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.
Bayesian Optimization75%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Probability75%
Теория вероятностей · ОсновыЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.