Naive Bayes

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.

Ключевые тезисы

Очень быстрый, хорошо ведёт себя на малых выборках и разреженных текстах.
Варианты: мультиномиальный, бернуллиевский, гауссовский.
Вероятности плохо откалиброваны, но ранжирование классов обычно адекватное.

Тема также относится к главам:Теория вероятностей и распределенияПрименение в ML

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Идея и «наивное» предположение

Теорема Байеса плюс допущение независимости признаков.

P (y ∣ x) \propto P (y) j = 1 \prod d P (x_{j} ∣ y)

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$\prod$ произведение по всем элементам

Совместное правдоподобие разваливается в произведение — это и есть «наивность»

Предположение почти всегда ложно (слова в тексте зависимы), но для ранжирования классов этого часто достаточно: даже смещённые вероятности сохраняют правильный порядок.

Спам-фильтр

Слово «выигрыш» встречается в 8% спама и в 0.1% нормальных писем. Каждое такое слово умножает шансы в пользу спама. Именно так работали первые байесовские фильтры — и работали хорошо.

Варианты и сглаживание

Мультиномиальный, бернуллиевский, гауссовский — и что делать с нулевой вероятностью.

Вариант	Данные	Модель признака
Multinomial	счётчики слов	частоты
Bernoulli	бинарные признаки	наличие / отсутствие
Gaussian	вещественные признаки	нормальное распределение внутри класса

P (x_{j} ∣ y) = \frac{n _{j y} + α}{n _{y} + α d}

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$n$ число объектов в выборке

Сглаживание Лапласа: без

α

одно незнакомое слово обнулило бы всё произведение

На практике

Вероятности Naive Bayes систематически переуверены (близки к 0 или 1) из-за перемножения зависимых множителей. Если нужны вероятности, а не метки, — калибруйте.

Связанные темы

Байесовский подход · Вероятность и информация

Ключевые тезисы

Подробный разбор

Идея и «наивное» предположение

Варианты и сглаживание

Связанные темы

Bayes Theorem93%

Probability93%

Bayesian Inference75%

Markov Chains75%

Beta Distribution75%

Conditional Independence75%

Probability Axioms75%

Random Variables75%

Bayesian Optimization75%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Log Loss70%