MCC

Корреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.

Ключевые тезисы

Значения от −1 до 1; 0 — уровень случайного угадывания.
Самая честная одиночная метрика при сильном дисбалансе.
Симметрична относительно смены положительного класса.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Формула и свойства

Единственная популярная метрика, честная сразу ко всем четырём ячейкам.

MCC = \frac{T P \cdot T N - F P \cdot F N}{( T P + F P ) ( T P + F N ) ( T N + F P ) ( T N + F N )}

Обозначения

$T P$ верные срабатывания: модель сказала «да», и это правда
$F P$ ложные срабатывания: модель сказала «да», а это неправда
$F N$ пропуски: модель сказала «нет», а объект был положительным
$T N$ верные отказы: модель сказала «нет», и это правда

Диапазон $[- 1, 1]$ ; 0 — уровень случайного угадывания, отрицательные значения — систематическая инверсия.
Высокий MCC достижим только при хороших результатах по всем четырём ячейкам матрицы.
Симметричен: смена «положительного» класса не меняет значение.

На практике

Хорошая практика для несбалансированных задач — отчёт из трёх чисел: PR-AUC (качество ранжирования), MCC (качество при выбранном пороге) и сама матрица ошибок.

MCC против F1 и accuracy

Наглядный пример, где расходятся выводы.

Модель	TP	FP	FN	TN	F1	MCC
A	90	10	10	890	0.90	0.89
B	100	900	0	0	0.18	0.00
C	0	0	100	900	0.00	0.00

Модель B помечает всё как положительное, модель C — всё как отрицательное. Обе бесполезны, и MCC честно даёт им ноль, тогда как accuracy у C равна 0.9 и выглядит «прилично».

Связанные темы

Редкие классы и события · Качество классификации

Ключевые тезисы

Подробный разбор

Формула и свойства

MCC против F1 и accuracy

Связанные темы

PR-AUC97%

Accuracy85%

Precision85%

Recall85%

F185%

ROC-AUC85%

Log Loss85%

Calibration85%

Logistic Regression85%

Imbalanced Data80%

Isolation Forest80%

Anomaly Detection80%

Loss functions80%

Extreme Value Theory80%