Аналитика

Метрики классификации

Качество предсказанных классов и вероятностей: precision/recall, ROC, log loss.

Как выбрать подходящий материал

  1. Качество предсказанных классов и вероятностей: precision/recall, ROC, log loss.
  2. Конверсия пользователей и активность не являются качеством классификатора.

16 формул

Формулы темы

Accuracy как доля правильных классификаций

Accuracy - доля верных ответов среди всех объектов. Метрика быстро показывает общий уровень классификации, но хорошо читается только при сопоставимых классах и близкой цене ложных тревог и пропусков.

$\mathrm{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}$

Precision для положительного класса

Precision показывает, какая часть объектов, помеченных моделью как положительные, действительно положительна. Метрика важна, когда ложные срабатывания дороги: модерация, лиды, диагностика, ручная проверка.

$\mathrm{Precision}=\frac{TP}{TP+FP}$

Recall для положительного класса

Recall показывает, какую долю настоящих положительных объектов модель нашла. Метрика важна, когда опаснее пропустить нужный случай, чем получить лишнее срабатывание: риск, дефекты, заявки.

$\mathrm{Recall}=\frac{TP}{TP+FN}$

F1-мера классификации для баланса precision и recall

F1 объединяет precision и recall через гармоническое среднее. Метрика полезна, когда нужно одним числом балансировать ложные срабатывания и пропуски, но true negative в расчет не входит.

$F_1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$

Specificity классификатора

Specificity показывает, какую долю настоящих отрицательных объектов модель оставила отрицательными. Метрика дополняет recall и важна там, где надо ограничить ложные тревоги при фиксированном положительном классе.

$\mathrm{Specificity}=\frac{TN}{TN+FP}$

ROC AUC через пары объектов

ROC AUC оценивает ранжирование: насколько часто положительный объект получает скор выше отрицательного. Метрика не зависит от одного порога, но требует корректных скорингов и выбранного положительного класса.

$\mathrm{AUC}=\frac{N_{concordant}+0.5N_{tied}}{N_{positive}N_{negative}}$

Lift модели классификации

Lift показывает, во сколько раз выбранный моделью сегмент богаче целевыми объектами, чем вся база. Метрика полезна для CRM, маркетинга и скоринга, где важен верхний процент списка, а не общий порог.

$\mathrm{Lift}=\frac{\text{response rate in selected group}}{\text{overall response rate}}$

Матрица ошибок бинарной классификации

Матрица ошибок раскладывает бинарные решения на TP, TN, FP и FN. Это исходная таблица для accuracy, precision, recall, specificity и F1, поэтому сначала проверяют класс, порог и сумму ячеек.

$N=TP+TN+FP+FN$

Precision, recall и F1 для классификации

Precision, recall и F1 для классификации: формула F_1=\frac{2PR}{P+R} помогает требуется требуется требуется требуется требуется важны и точность, и полнота. В тексте есть условия, пример, ошибки и проверка результата.

$F_1=\frac{2PR}{P+R}$

ROC AUC методом трапеций по точкам

ROC AUC методом трапеций по точкам: формула AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1}) помогает величины AUC, TPR, FPR заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1})$

Binary log loss для вероятностной классификации

Binary log loss для вероятностной классификации: формула L=-\frac1n\sum(y\log p+(1-y)\log(1-p)) помогает величины L, n, y, p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$L=-\frac1n\sum(y\log p+(1-y)\log(1-p))$

Brier score для вероятностного прогноза

Brier score для вероятностного прогноза: формула BS=\frac1n\sum(p_i-y_i)^2 помогает величины BS, p_i, y_i, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$BS=\frac1n\sum(p_i-y_i)^2$

Сбалансированная точность бинарной классификации

Сбалансированная точность усредняет доли верных ответов внутри двух истинных классов. Положительный и отрицательный классы получают равный вес, даже если в выборке объектов одного класса намного больше.

$\operatorname{BA}=\frac12\left(\frac{TP}{TP+FN}+\frac{TN}{TN+FP}\right)$

Коэффициент Мэтьюса для бинарных предсказаний

Коэффициент Мэтьюса измеряет корреляцию между истинными и предсказанными бинарными метками. В нём участвуют все четыре числа матрицы ошибок, включая верно распознанные отрицательные объекты.

$\operatorname{MCC}=\frac{TP\,TN-FP\,FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}$

Каппа Коэна для согласия двух экспертов

Каппа Коэна сравнивает наблюдаемое согласие двух экспертов с тем, которое получилось бы при независимом выборе категорий с их фактическими долями.

$\kappa=\frac{p_o-p_e}{1-p_e},\qquad p_e=\sum_{j=1}^K p_{1j}p_{2j}$

Средняя точность AP по ранжированным оценкам модели

Average precision усредняет точность по порогам с весами, равными приростам полноты. Для разных оценок объектов это среднее точностей на позициях истинно положительных объектов.

$\operatorname{AP}=\sum_{i=1}^m (R_i-R_{i-1})P_i,\qquad R_0=0$