Cohen's Kappa — Каппа Коэна

Согласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.

κ = p _{o} - p _{e} 1 - p _{e}

Что означает каждый компонент

$p_{o} - p_{e}$ наблюдаемое согласие минус то, что получилось бы случайно
$1 - p_{e}$ максимально возможное улучшение над случайностью. κ = 0 означает «не лучше монетки»

Ключевые тезисы

Значение 0 означает согласие на уровне случайности, 1 — полное совпадение.
Главное применение — оценка качества разметки до обучения модели.
Взвешенная каппа учитывает, что путать соседние градации менее серьёзно.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как читать значение

Ориентиры и оговорки.

κ	Интерпретация
< 0.2	слабое согласие
0.2–0.4	удовлетворительное
0.4–0.6	умеренное
0.6–0.8	существенное
> 0.8	почти полное

На практике

Каппа падает при сильном дисбалансе классов даже при высоком проценте совпадений — это её известный парадокс. При дисбалансе смотрите ещё и на матрицу согласия.

Где применять

Не только для разметчиков.

Оценка согласия аннотаторов до начала обучения модели.
Сравнение модели с человеком: κ модели против κ между людьми задаёт реалистичную планку.
Взвешенная каппа для порядковых шкал: путать «4» и «5» менее серьёзно, чем «1» и «5».

Связанные темы

Разметка и слабый надзор

Data Labeling85%

Разметка данных · Данные

Организация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.

Synthetic Data85%

Синтетические данные · Данные

Генерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.

Active Learning85%

Активное обучение · Практика ML

Размечать в первую очередь те объекты, которые дадут наибольший прирост качества.

Weak Supervision85%

Слабая разметка · Практика ML

Программная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.

Error analysis85%

Анализ ошибок · Оценка моделей

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.