Precision

Какая доля объектов, предсказанных положительными, действительно положительна.

Precision = \frac{T P}{;;} \frac{;;}{T P + F P}

Что означает каждый компонент

$T P$ верные срабатывания: модель сказала «да», и это правда
$T P + F P$ все срабатывания модели, включая ложные тревоги. Precision отвечает: какой доле срабатываний можно верить

Ключевые тезисы

Отвечает на вопрос «насколько можно доверять срабатыванию модели».
Критична там, где ложное срабатывание дорого: блокировки, рассылки, модерация.
Растёт при повышении порога — за счёт падения полноты.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Смысл и когда важна

Насколько можно доверять срабатыванию модели.

Precision = \frac{T P}{T P + F P}

Обозначения

$T P$ верные срабатывания: модель сказала «да», и это правда
$F P$ ложные срабатывания: модель сказала «да», а это неправда

Пример

Из 100 транзакций, которые модель пометила как мошеннические, действительно мошеннических 30 → precision = 0.3. Семьдесят честных клиентов получили блокировку.

Важна там, где ложное срабатывание дорого: блокировки, автоматические отказы, рассылки, модерация.
Растёт при повышении порога — но за счёт падения recall.
При очень редком классе низкая precision может быть неизбежной: см. парадокс редких событий в теореме Байеса.

Precision при фиксированной полноте

Как формулировать требование к модели на языке бизнеса.

Метрику удобно фиксировать так: «нужно находить не меньше 80% мошеннических операций». Тогда recall = 0.8 — ограничение, а precision при этом recall — то, что оптимизируется.

from sklearn.metrics import precision_recall_curve
p, r, thr = precision_recall_curve(y_true, y_score)
i = (r >= 0.8).nonzero()[0][-1]      # последний порог, где recall ещё ≥ 0.8
print(f"precision={p[i]:.3f} при recall={r[i]:.3f}, порог={thr[i]:.4f}")

На практике

Порог, найденный на валидации, нужно проверить на тесте: при малом числе положительных объектов он нестабилен.

Связанные темы

Прикладные задачи NLP · Качество классификации

Ключевые тезисы

Подробный разбор

Смысл и когда важна

Precision при фиксированной полноте

Связанные темы

F196%

Recall96%

Accuracy85%

ROC-AUC85%

PR-AUC85%

Log Loss85%

MCC85%

Calibration85%

Logistic Regression85%

Text classification75%

NER75%

Sentiment Analysis75%

BERT75%

Embeddings75%