Accuracy как доля правильных классификаций
Accuracy - доля верных ответов среди всех объектов. Метрика быстро показывает общий уровень классификации, но хорошо читается только при сопоставимых классах и близкой цене ложных тревог и пропусков.
Аналитика
Качество предсказанных классов и вероятностей: precision/recall, ROC, log loss.
16 формул
Accuracy - доля верных ответов среди всех объектов. Метрика быстро показывает общий уровень классификации, но хорошо читается только при сопоставимых классах и близкой цене ложных тревог и пропусков.
Precision показывает, какая часть объектов, помеченных моделью как положительные, действительно положительна. Метрика важна, когда ложные срабатывания дороги: модерация, лиды, диагностика, ручная проверка.
Recall показывает, какую долю настоящих положительных объектов модель нашла. Метрика важна, когда опаснее пропустить нужный случай, чем получить лишнее срабатывание: риск, дефекты, заявки.
F1 объединяет precision и recall через гармоническое среднее. Метрика полезна, когда нужно одним числом балансировать ложные срабатывания и пропуски, но true negative в расчет не входит.
Specificity показывает, какую долю настоящих отрицательных объектов модель оставила отрицательными. Метрика дополняет recall и важна там, где надо ограничить ложные тревоги при фиксированном положительном классе.
ROC AUC оценивает ранжирование: насколько часто положительный объект получает скор выше отрицательного. Метрика не зависит от одного порога, но требует корректных скорингов и выбранного положительного класса.
Lift показывает, во сколько раз выбранный моделью сегмент богаче целевыми объектами, чем вся база. Метрика полезна для CRM, маркетинга и скоринга, где важен верхний процент списка, а не общий порог.
Матрица ошибок раскладывает бинарные решения на TP, TN, FP и FN. Это исходная таблица для accuracy, precision, recall, specificity и F1, поэтому сначала проверяют класс, порог и сумму ячеек.
Precision, recall и F1 для классификации: формула F_1=\frac{2PR}{P+R} помогает требуется требуется требуется требуется требуется важны и точность, и полнота. В тексте есть условия, пример, ошибки и проверка результата.
ROC AUC методом трапеций по точкам: формула AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1}) помогает величины AUC, TPR, FPR заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.
Binary log loss для вероятностной классификации: формула L=-\frac1n\sum(y\log p+(1-y)\log(1-p)) помогает величины L, n, y, p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.
Brier score для вероятностного прогноза: формула BS=\frac1n\sum(p_i-y_i)^2 помогает величины BS, p_i, y_i, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.
Сбалансированная точность усредняет доли верных ответов внутри двух истинных классов. Положительный и отрицательный классы получают равный вес, даже если в выборке объектов одного класса намного больше.
Коэффициент Мэтьюса измеряет корреляцию между истинными и предсказанными бинарными метками. В нём участвуют все четыре числа матрицы ошибок, включая верно распознанные отрицательные объекты.
Каппа Коэна сравнивает наблюдаемое согласие двух экспертов с тем, которое получилось бы при независимом выборе категорий с их фактическими долями.
Average precision усредняет точность по порогам с весами, равными приростам полноты. Для разных оценок объектов это среднее точностей на позициях истинно положительных объектов.