코헨의 카파란?
코헨의 카파(κ)는 두 평가자가 각각 항목을 상호 배타적인 범주로 분류했을 때, 둘 사이의 일치 정도를 측정하는 통계량입니다. 단순히 일치한 비율만 보는 방식과 달리, 카파는 순전히 우연에 의해 발생할 수 있는 일치까지 보정해 줍니다. 그래서 신뢰도를 훨씬 더 정직하게 보여 주는 지표라고 할 수 있습니다. 이 계산기는 평가자가 두 명, 범주가 두 개인 가장 일반적인 경우(2x2 표)를 다룹니다.
계산기 사용 방법
2x2 분할표의 네 칸 빈도를 입력하세요. 두 평가자가 모두 "예"라고 판정한 항목 수(a), 평가자 1은 예이지만 평가자 2는 아니오로 판정한 수(b), 그 반대의 경우(c), 그리고 두 평가자가 모두 "아니오"로 판정한 수(d)입니다. 계산기는 카파 값과 함께 관찰 일치도, 그리고 우연에 의해 기대되는 일치도를 함께 산출합니다.
공식 풀이
관찰 일치도는 \(p_o = (a + d) / n\) 으로, 두 평가자가 실제로 일치한 항목의 비율입니다. 기대 일치도 \(p_e\)는 주변합(marginal total)을 이용해 구합니다. 두 평가자가 모두 예라고 할 우연 확률과 모두 아니오라고 할 우연 확률을 더한 값이죠. 카파는 다음과 같이 계산됩니다.
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$값이 1이면 완벽한 일치, 0이면 우연 수준의 일치, 음수면 우연보다도 못한 일치를 의미합니다.
계산 예시
\(a = 20\), \(b = 5\), \(c = 10\), \(d = 15\)라고 하면 \(n = 50\)이 됩니다. 관찰 일치도는 다음과 같습니다.
$$p_o = \frac{20 + 15}{50} = 0.70$$주변합으로 기대 일치도를 구하면 다음과 같습니다.
$$p_e = \frac{25}{50}\cdot\frac{30}{50} + \frac{25}{50}\cdot\frac{20}{50} = 0.30 + 0.20 = 0.50$$따라서
$$\kappa = \frac{0.70 - 0.50}{1 - 0.50} = \frac{0.20}{0.50} = 0.40$$이 되며, 이는 "어느 정도(fair)"의 일치 수준에 해당합니다.
자주 묻는 질문
값은 어떻게 해석하나요? 널리 쓰이는 기준(Landis & Koch)에 따르면 다음과 같습니다. <0: 매우 낮음(poor), 0~0.20: 미미함(slight), 0.21~0.40: 어느 정도(fair), 0.41~0.60: 보통(moderate), 0.61~0.80: 상당함(substantial), 0.81~1.00: 거의 완벽함(almost perfect).
일치율이 높은데 왜 카파 값이 낮나요? 한쪽 범주가 압도적으로 많으면 우연 일치도(\(p_e\))가 높아집니다. 그러면 단순 일치율이 90% 이상이어도 카파 값은 낮게 나올 수 있는데, 이를 '카파의 역설(kappa paradox)'이라고 합니다.
카파 값이 음수가 될 수도 있나요? 네. 음의 카파는 관찰된 일치도가 우연으로 예상되는 수준보다도 낮다는 뜻이며, 체계적인 불일치가 있음을 시사합니다.
