Что такое каппа Коэна?
Каппа Коэна (\(\kappa\)) — это статистический показатель, который измеряет степень согласия между двумя экспертами, относящими объекты к взаимоисключающим категориям. В отличие от простого процента совпадений, каппа учитывает поправку на согласие, которое могло возникнуть чисто случайно. Благодаря этому она даёт более честную оценку надёжности. Наш калькулятор работает с самым распространённым случаем — два эксперта и две категории (таблица 2×2).
Как пользоваться калькулятором
Введите четыре значения вашей таблицы сопряжённости 2×2: сколько объектов оба эксперта оценили как «Да» (a), сколько Эксперт 1 отметил как «Да», а Эксперт 2 как «Нет» (b), сколько в обратной ситуации (c) и сколько объектов оба назвали «Нет» (d). Калькулятор выдаст значение каппы вместе с наблюдаемым и ожидаемым (случайным) согласием.
Разбор формулы
Наблюдаемое согласие — это \(p_o = \dfrac{\text{a} + \text{d}}{n}\), то есть доля объектов, по которым эксперты сошлись во мнении. Ожидаемое согласие \(p_e\) рассчитывается по итоговым суммам по строкам и столбцам: вероятность того, что оба скажут «Да», плюс вероятность того, что оба скажут «Нет». Тогда каппа равна
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$Значение 1 означает полное согласие, 0 — согласие на уровне случайности, а отрицательные значения говорят о результате хуже случайного.
Пример расчёта
Допустим, \(\text{a} = 20\), \(\text{b} = 5\), \(\text{c} = 10\), \(\text{d} = 15\), тогда \(n = 50\). Наблюдаемое согласие
$$p_o = \frac{20 + 15}{50} = 0{,}70$$По итоговым суммам получаем
$$p_e = \frac{25}{50}\cdot\frac{30}{50} + \frac{25}{50}\cdot\frac{20}{50} = 0{,}30 + 0{,}20 = 0{,}50$$Следовательно,
$$\kappa = \frac{0{,}70 - 0{,}50}{1 - 0{,}50} = \frac{0{,}20}{0{,}50} = 0{,}40$$— это говорит об удовлетворительном уровне согласия.
Частые вопросы
Как трактовать полученное значение? Распространённая шкала (Лэндис и Кох): <0 — плохое согласие, 0–0,20 — незначительное, 0,21–0,40 — удовлетворительное, 0,41–0,60 — умеренное, 0,61–0,80 — значительное, 0,81–1,00 — почти полное.
Почему каппа низкая, хотя совпадений много? Когда одна категория преобладает, случайное согласие (\(p_e\)) оказывается высоким, поэтому каппа может быть низкой даже при «сыром» согласии в 90% и выше — это так называемый парадокс каппы.
Может ли каппа быть отрицательной? Да. Отрицательная каппа означает, что наблюдаемое согласие ниже ожидаемого случайного — это указывает на систематические расхождения в оценках.
