Аналитика / Метрики классификации

Коэффициент Мэтьюса для бинарных предсказаний

Коэффициент Мэтьюса измеряет корреляцию между истинными и предсказанными бинарными метками. В нём участвуют все четыре числа матрицы ошибок, включая верно распознанные отрицательные объекты.

Опубликовано: 11 ноября 2026 г.Обновлено: 11 ноября 2026 г.

Формула

\operatorname{MCC}=\frac{TP\,TN-FP\,FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}

Схема Корреляция при симметричных ошибках

При одинаковом числе объектов в обоих классах и одинаковой доле ошибок e коэффициент равен 1−2e.

Обозначения

$TP$: истинно положительные решения, объекты
$TN$: истинно отрицательные решения, объекты
$FP$: ложноположительные решения, объекты
$FN$: ложноотрицательные решения, объекты
$MCC$: коэффициент корреляции Мэтьюса, —

Условия применения

Истинные и предсказанные метки попарно относятся к одним объектам. Для определения через корреляцию оба ряда меток должны содержать нули и единицы, то есть все четыре суммы в знаменателе положительны. Оба ряда кодируются одинаково.

Ограничения

При постоянной истинной или предсказанной метке корреляция математически не определена. Программа может вернуть условный ноль: это нужно отличать от нулевой корреляции невырожденных рядов. Коэффициент не оценивает качество ранжирования и калибровку вероятностей.

Подробное объяснение

Заменим отрицательную метку на 0, положительную на 1 и запишем два столбца: наблюдаемая метка и решение модели. Для каждого объекта пара (1,1) добавляет единицу в TP, пара (0,0) — в TN, две несовпадающие пары дают FP и FN.

Среднее произведение кодов равно TP/N. Средние двух столбцов равны (TP+FN)/N и (TP+FP)/N. После вычитания произведения средних числитель ковариации упрощается до (TP·TN−FP·FN)/N². Деление на произведение стандартных отклонений сокращает общий множитель N².

Положительное значение показывает, что одинаковые метки встречаются чаще, чем следует из независимости столбцов с такими же долями. При полном совпадении и наличии двух классов результат равен единице. Если каждый ответ меняет истинную метку на противоположную, результат равен минус единице.

В отличие от F₁ положительного класса коэффициент явно меняется при добавлении верно распознанных отрицательных объектов, даже если TP, FP и FN постоянны. Поэтому вместе с MCC полезно сохранять матрицу ошибок: по одному коэффициенту нельзя понять, какая именно ошибка чаще.

Как пользоваться формулой

Зафиксируйте, какая метка считается положительной, и одинаково закодируйте истину и решение модели.
Подсчитайте четыре ячейки матрицы и проверьте, что ни один её итог по строкам или столбцам не равен нулю.
Вычтите произведение двух чисел ошибок из произведения двух чисел верных ответов, сохраняя знак.
Разделите результат на квадратный корень из произведения четырёх итогов и проверьте диапазон от −1 до 1.

Историческая справка

В 1975 году Брайан Мэтьюс сравнивал предсказанную и наблюдаемую вторичную структуру лизоцима фага T4. В статье приведены коэффициенты корреляции предсказаний и наблюдений для нескольких способов определения спиральных участков. Это пример задачи, в которой совпадение двух бинарных признаков требовало количественной оценки.

В современной оценке классификации ту же форму удобно записывать по матрице ошибок. Она совпадает с корреляцией двух числовых рядов из нулей и единиц; явное кодирование всех отдельных наблюдений при этом не требуется. Документация scikit-learn называет коэффициент MCC и также описывает его расширение на большее число классов.

Историческая линия формулы

Название связывает показатель с применением Брайана Мэтьюса в статье 1975 года. Для бинарной таблицы выражение является коэффициентом Пирсона для двух индикаторов, поэтому использование имени Мэтьюса в оценке классификации не означает, что он ввёл общую формулу корреляции.

Пример

Из десяти положительных объектов модель правильно определила восемь. Из десяти отрицательных правильно определены тоже восемь. Найдём корреляцию бинарных меток. Имеем TP=TN=8, FP=FN=2. Числитель равен 8·8−2·2=60. Каждая из четырёх сумм равна 10, поэтому знаменатель √(10⁴)=100. Ответ: MCC=60/100=0,60. Число безразмерно. Проверим через кодировку 0 и 1: оба столбца имеют среднее 0,5 и дисперсию 0,25. Среднее произведение равно 8/20=0,4, ковариация 0,4−0,25=0,15. Отношение 0,15/0,25 также даёт 0,60.

Частая ошибка

Не путайте MCC с долей совпадений: в примере 80% ответов верны, а корреляция 0,60. Не меняйте порядок слагаемых в числителе. При нулевом итоге строки или столбца не делите на ноль: укажите, что корреляция не вычисляется, и приведите исходную матрицу ошибок.

Практика

Задачи с решением

Независимые столбцы

Условие. TP=2, FP=3, FN=4, TN=6. Найдите MCC.

Решение. Числитель 2·6−3·4=0. Итоги 5, 6, 9 и 10 положительны, поэтому значение определено.

Ответ. MCC=0.

Перестановка ответов

Условие. В примере поменяли местами все предсказанные метки, сохранив истинные. Что произойдёт с MCC?

Решение. Теперь TP=TN=2, FP=FN=8. Знаменатель по-прежнему 100, числитель 4−64=−60.

Ответ. MCC=−0,60.

Дополнительные источники

https://scikit-learn.org/stable/modules/generated/sklearn.metrics.matthews_corrcoef.html
https://pubmed.ncbi.nlm.nih.gov/1180967/

Связанные формулы

Аналитика

Матрица ошибок бинарной классификации

$N=TP+TN+FP+FN$

Матрица ошибок раскладывает бинарные решения на TP, TN, FP и FN. Это исходная таблица для accuracy, precision, recall, specificity и F1, поэтому сначала проверяют класс, порог и сумму ячеек.

Аналитика

F1-мера классификации для баланса precision и recall

$F_1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$

F1 объединяет precision и recall через гармоническое среднее. Метрика полезна, когда нужно одним числом балансировать ложные срабатывания и пропуски, но true negative в расчет не входит.

Аналитика

Сбалансированная точность бинарной классификации

$\operatorname{BA}=\frac12\left(\frac{TP}{TP+FN}+\frac{TN}{TN+FP}\right)$

Сбалансированная точность усредняет доли верных ответов внутри двух истинных классов. Положительный и отрицательный классы получают равный вес, даже если в выборке объектов одного класса намного больше.

Аналитика

Каппа Коэна для согласия двух экспертов

$\kappa=\frac{p_o-p_e}{1-p_e},\qquad p_e=\sum_{j=1}^K p_{1j}p_{2j}$

Каппа Коэна сравнивает наблюдаемое согласие двух экспертов с тем, которое получилось бы при независимом выборе категорий с их фактическими долями.