Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
- все верные ответы: и найденные положительные, и верно отклонённые отрицательные
- все объекты. При дисбалансе знаменатель почти целиком состоит из лёгкого класса — отсюда обманчивость метрики
Ключевые тезисы
- При соотношении классов 99:1 константный ответ даёт 99% accuracy.
- Не различает типы ошибок — FP и FN весят одинаково.
- Годится только при сбалансированных классах и равной цене ошибок.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Определение и матрица ошибок
Четыре числа, из которых считаются все метрики классификации.
| Предсказано 1 | Предсказано 0 | |
|---|---|---|
| Факт 1 | TP — верно найден | FN — пропуск |
| Факт 0 | FP — ложная тревога | TN — верно отклонён |
- верные срабатывания: модель сказала «да», и это правда
- ложные срабатывания: модель сказала «да», а это неправда
- пропуски: модель сказала «нет», а объект был положительным
- верные отказы: модель сказала «нет», и это правда
Модель скоринга дала 72 верных ответа из 100 → accuracy = 0.72. Но это число ничего не говорит о том, какие именно ошибки она делает.
2Почему accuracy обманывает
Классический пример с мошенническими транзакциями.
Мошеннических транзакций 0.5%. Модель, которая всегда отвечает «не мошенничество», получает accuracy 99.5% — и не находит ни одного мошенника. Метрика прекрасна, польза нулевая.
- Accuracy не различает типы ошибок: FP и FN весят одинаково, хотя стоят по-разному.
- При дисбалансе смотрите на precision, recall, PR-AUC, MCC.
- Balanced accuracy — среднее recall по классам — частично лечит проблему.
Связанные темы
Качество классификации
Precision85%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Recall85%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
F185%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.