Log Loss — Логарифмические потери

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.

LogLoss = - \frac{1}{n} i = 1 \sum n [y_{i} lo g p_{i} + (1 - y_{i}) lo g (1 - p_{i})]

Что означает каждый компонент

$y lo g p$ работает, когда истинный класс — 1: штраф тем больше, чем меньше предсказанная вероятность
$(1 - y) lo g (1 - p)$ работает, когда истинный класс — 0. Один из двух членов всегда обнуляется

Уверенная ошибка (p → 0 при y = 1) даёт бесконечный штраф

Ключевые тезисы

Совпадает с функцией потерь при обучении логистической регрессии.
Требует калиброванных вероятностей.
Одна уверенная ошибка может испортить метрику на всей выборке.

Тема также относится к главам:Классическое машинное обучениеФункции потерь Глубокое обучениеФункции потерь Теория вероятностей и распределенияПрименение в ML

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Формула и её поведение

Метрика, которой важна уверенность, а не только ответ.

LogLoss = - \frac{1}{n} i = 1 \sum n [y_{i} lo g p_{i} + (1 - y_{i}) lo g (1 - p_{i})]

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$p$ предсказанная моделью вероятность
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Факт	Предсказание	Вклад в потери
1	0.9	0.105
1	0.5	0.693
1	0.1	2.303
1	0.01	4.605

Уверенная ошибка стоит непропорционально дорого. Именно поэтому log loss — правильная метрика, когда решение принимается по значению вероятности (ставки, ценообразование, ожидаемая прибыль).

H(p)1.000 бит

H(p, q)1.000 бит

KL(p‖q)0.000 бит

Истинная вероятность p0.50Предсказание модели q0.50

Сдвигайте q при фиксированном p: кросс-энтропия минимальна ровно при q = p

Многоклассовый случай и клиппинг

Практические детали, о которые часто спотыкаются.

LogLoss = - \frac{1}{n} i = 1 \sum n k = 1 \sum K y_{ik} lo g p_{ik}

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$p$ предсказанная моделью вероятность
$k$ размер топа выдачи (K) или номер позиции
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Вероятности по классам должны суммироваться в единицу — иначе метрика посчитается, но будет бессмысленной.
Значения обрезают до $[ε, 1 - ε]$ , иначе одно предсказание 0.0 на верном классе даёт бесконечность.
Log loss нельзя сравнивать между датасетами: он зависит от числа классов и их баланса.

Связанные темы

Качество вероятностей · Вероятность и информация · Качество классификации

Calibration98%

Калибровка · Оценка моделей

Соответствие предсказанных вероятностей реальным частотам событий.

Logistic Regression98%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Brier Score85%

Brier Score · Метрики

Среднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее log loss.

Perplexity85%

Перплексия · Метрики

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

Accuracy85%

Доля правильных ответов · Метрики

Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.

Precision85%

Точность · Метрики

Какая доля объектов, предсказанных положительными, действительно положительна.

Recall85%

Полнота · Метрики

Какая доля реально положительных объектов найдена моделью.

F185%

F1-мера · Метрики

Гармоническое среднее точности и полноты — компромисс между ними одним числом.

ROC-AUC85%

ROC-AUC · Метрики

Вероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.

PR-AUC85%

PR-AUC · Метрики

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

MCC85%

Коэффициент Мэтьюса · Метрики

Корреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.

Probability70%

Теория вероятностей · Основы

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.

Statistics70%

Статистика · Основы

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Information Theory70%

Теория информации · Основы

Измеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.

Probability Distribution70%

Распределение вероятностей · Математический справочник

Закон, задающий вероятности значений случайной величины.

Expectation70%

Математическое ожидание · Математический справочник

Среднее значение случайной величины по её распределению.

Variance70%

Дисперсия · Математический справочник

Мера разброса значений вокруг среднего.

Covariance70%

Ковариация · Математический справочник

Мера совместной изменчивости двух величин; корреляция — её нормированная версия.

Entropy70%

Энтропия · Математический справочник

Мера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.

KL Divergence70%

KL-дивергенция · Математический справочник

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

Cross-Entropy70%

Кросс-энтропия · Математический справочник

Ожидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).

Bayes Theorem70%

Теорема Байеса · Математический справочник

Правило пересчёта вероятности гипотезы после получения новых данных.

Naive Bayes70%

Наивный байесовский классификатор · Классическое машинное обучение

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.