Аналитика / Метрики классификации

Каппа Коэна для согласия двух экспертов

Каппа Коэна сравнивает наблюдаемое согласие двух экспертов с тем, которое получилось бы при независимом выборе категорий с их фактическими долями.

Опубликовано: 11 ноября 2026 г.Обновлено: 11 ноября 2026 г.

Формула

\kappa=\frac{p_o-p_e}{1-p_e},\qquad p_e=\sum_{j=1}^K p_{1j}p_{2j}

Схема Как меняется каппа при pₑ=0,5

При ожидаемом согласии 0,5 каждые дополнительные 0,1 наблюдаемого согласия добавляют 0,2 к каппе.

Обозначения

$κ$: невзвешенная каппа Коэна, —
$pₒ$: наблюдаемая доля совпадений, —
$pₑ$: доля совпадений по модели независимого выбора, —
p₁ⱼ, p₂ⱼ: доли категории j у первого и второго эксперта, —
$j$: индекс категории, —
$K$: число категорий, —

Условия применения

Два эксперта размечают один и тот же набор объектов по одинаковому списку взаимоисключающих категорий. Для каждого объекта известны обе метки. Поправку считают по отдельным распределениям двух экспертов; требуется pₑ<1.

Ограничения

Значение чувствительно к преобладающей категории и различиям между долями меток у экспертов. Высокое согласие не доказывает правоту обоих экспертов. При порядковой шкале невзвешенный вариант считает любое несовпадение одинаковым, поэтому при необходимости выбирают взвешенную меру.

Подробное объяснение

В таблице совместных ответов строка указывает категорию первого эксперта, столбец — категорию второго. Совпадения лежат на диагонали. Их суммарная доля pₒ — первая характеристика согласия, но она не показывает, сколько совпадений можно объяснить одними частотами категорий.

Возьмём категорию j. Если эксперты независимо выбирают её с вероятностями, равными своим наблюдаемым долям, вероятность двойного выбора равна произведению этих долей. Суммирование по всем категориям даёт pₑ. Оно использует итоги строк и столбцов, а не фактическую диагональ.

Разность pₒ−pₑ показывает превышение над базой. Знаменатель 1−pₑ задаёт максимальное возможное превышение относительно единицы. Когда pₒ=pₑ, каппа равна нулю; когда pₒ меньше pₑ, каппа отрицательна. Нижняя достижимая граница зависит от распределений меток.

Если оба эксперта почти всегда ставят одну категорию, pₑ может оказаться близким к единице. Тогда даже высокий процент совпадений может дать небольшую каппу. Для отчёта полезно сохранять саму таблицу: она показывает, на каких категориях эксперты расходятся и не остались ли редкие категории без примеров.

Как пользоваться формулой

Сведите пары ответов в квадратную таблицу; категории должны идти в одном порядке в строках и столбцах.
Поделите сумму диагональных ячеек на число объектов, чтобы получить наблюдаемую долю совпадений.
Для каждой категории перемножьте её доли у двух экспертов, затем сложите произведения и проверьте, что итог меньше единицы.
Вычтите ожидаемую долю из наблюдаемой и разделите разность на 1−pₑ; приложите к отчёту таблицу.

Историческая справка

В 1960 году Джейкоб Коэн опубликовал статью A Coefficient of Agreement for Nominal Scales. В ней задача согласия двух судей поставлена для номинальных шкал, где названия категорий не задают расстояний между ними. Простой процент совпадений дополняется поправкой на согласие, ожидаемое при заданных долях категорий.

Современные реализации вычисляют коэффициент по парам ответов. В документации scikit-learn наблюдаемая вероятность согласия отделена от ожидаемой вероятности, рассчитанной по эмпирическим долям меток каждого участника. Для порядковых шкал предусмотрены веса, но исходная невзвешенная постановка достаточно точно описывает номинальные категории.

Историческая линия формулы

Коэн ввёл коэффициент согласия для двух наборов номинальных оценок; статья 1960 года служит источником этой постановки. Здесь используется невзвешенная форма. База независимости рассчитывается для данных двух экспертов и не заменяет проверку разметки по эталону.

Пример

Два эксперта независимо разметили сто объектов категориями А и Б. Совместная таблица имеет строки (30,10) и (20,40). Найдём каппу для этой разметки. Наблюдаемая доля совпадений pₒ=(30+40)/100=0,70. У первого эксперта доли равны 0,40 и 0,60, у второго — 0,50 и 0,50. Поэтому pₑ=0,40·0,50+0,60·0,50=0,50. Получаем κ=(0,70−0,50)/(1−0,50)=0,20/0,50=0,40. Двадцать дополнительных совпадений на сто объектов составляют 40% от максимального превышения в 50 совпадений на сто. Все доли и коэффициент безразмерны.

Частая ошибка

Ожидаемую долю считают из двух отдельных наборов итогов, а не из диагонали. Не принимайте 1/K за ожидаемое совпадение без проверки распределения: категории могут быть неравновероятны. Не применяйте этот расчёт к трём экспертам, сворачивая их ответы в одну таблицу по усреднённым долям.

Практика

Задачи с решением

Много совпадений, отрицательная каппа

Условие. Для строк таблицы (90,5) и (5,0) вычислите каппу.

Решение. pₒ=0,90. У каждого эксперта доли 0,95 и 0,05; pₑ=0,95²+0,05²=0,905. Разность −0,005 делим на 0,095.

Ответ. κ=−1/19≈−0,0526.

Полное совпадение

Условие. Для таблицы со строками (20,0) и (0,80) найдите каппу.

Решение. pₒ=1, pₑ=0,2²+0,8²=0,68. Числитель и знаменатель равны 0,32.

Ответ. κ=1.

Дополнительные источники

https://scikit-learn.org/stable/modules/generated/sklearn.metrics.cohen_kappa_score.html
https://journals.sagepub.com/doi/10.1177/001316446002000104

Связанные формулы

Аналитика

Матрица ошибок бинарной классификации

$N=TP+TN+FP+FN$

Матрица ошибок раскладывает бинарные решения на TP, TN, FP и FN. Это исходная таблица для accuracy, precision, recall, specificity и F1, поэтому сначала проверяют класс, порог и сумму ячеек.

Аналитика

Коэффициент Мэтьюса для бинарных предсказаний

$\operatorname{MCC}=\frac{TP\,TN-FP\,FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}$

Коэффициент Мэтьюса измеряет корреляцию между истинными и предсказанными бинарными метками. В нём участвуют все четыре числа матрицы ошибок, включая верно распознанные отрицательные объекты.

Аналитика

Критерий хи-квадрат независимости

$\chi^2=\sum\frac{(O-E)^2}{E}$

Критерий хи-квадрат независимости: формула \chi^2=\sum\frac{(O-E)^2}{E} помогает величины chi, O, E заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.