Параметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.
- апостериорное распределение параметров — результат вывода
- правдоподобие: насколько данные согласуются с параметрами
- априорное убеждение о параметрах. В MAP-оценке оно и играет роль регуляризации
Ключевые тезисы
- Сопряжённые пары (бета-биномиальная, гамма-пуассоновская) дают решение в замкнутой форме.
- MAP-оценка эквивалентна регуляризованной оптимизации, а полный вывод даёт ещё и неопределённость.
- Практические инструменты: MCMC (NUTS) и вариационный вывод.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1MAP против полного вывода
Точка или распределение.
| MAP | Полный байес | |
|---|---|---|
| Результат | одна оценка параметров | распределение параметров |
| Стоимость | как обычная оптимизация | MCMC или вариационный вывод |
| Неопределённость | нет | есть |
| Связь с ML | = регуляризованная оптимизация | ансамбли, байесовские сети |
Даже без полного вывода байесовский взгляд полезен: он объясняет, откуда берётся регуляризация и почему при малых данных априор так сильно влияет на результат.
2Где реально применяют
Задачи, в которых байесовский подход выигрывает.
- Малые выборки: клинические исследования, редкие события, A/B на низком трафике.
- Иерархические данные: магазины внутри сети, пользователи внутри когорт — частичное объединение информации.
- Бандиты и активное обучение: нужна не только оценка, но и неопределённость.
- Байесовская оптимизация гиперпараметров — тот же аппарат в чистом виде.
Связанные темы
Байесовский подход
Markov Chains75%
Марковские цепи · Теория вероятностей и распределенияПроцесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.
Beta Distribution75%
Бета-распределение · Теория вероятностей и распределенияРаспределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.
Conditional Independence75%
Условная независимость · Теория вероятностей и распределенияДве величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.
Probability Axioms75%
Аксиомы вероятности · Теория вероятностей и распределенияТри аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.
Random Variables75%
Случайные величины · Теория вероятностей и распределенияОтображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.
Bayes Theorem75%
Теорема Байеса · Математический справочникПравило пересчёта вероятности гипотезы после получения новых данных.
Naive Bayes75%
Наивный байесовский классификатор · Классическое машинное обучениеПрименяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.
Bayesian Optimization75%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Probability75%
Теория вероятностей · ОсновыЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.