Cohen's Kappa nedir?
Cohen's Kappa (\(\kappa\)), öğeleri birbirini dışlayan kategorilere ayıran iki değerlendiricinin verdiği kararlar arasındaki uyumu ölçen bir istatistiktir. Basit bir eşleşme yüzdesinden farklı olarak kappa, tamamen tesadüf eseri ortaya çıkması beklenen uyumu hesaba katarak düzeltir; bu da onu güvenilirlik için çok daha dürüst bir ölçü hâline getirir. Bu hesaplayıcı, en sık karşılaşılan durumu, yani iki değerlendirici ve iki kategoriden oluşan (2x2 tablo) senaryoyu ele alır.
Hesaplayıcı nasıl kullanılır?
2x2 kontenjans tablonuzdaki dört hücre sayısını girin: her iki değerlendiricinin de "Evet" dediği öğe sayısı (a), 1. Değerlendiricinin Evet ama 2. Değerlendiricinin Hayır dediği sayı (b), bunun tersi (c) ve her ikisinin de "Hayır" dediği sayı (d). Hesaplayıcı; kappa değerini, gözlenen uyumu ve tesadüfen beklenen uyumu birlikte döndürür.
Formülün açıklaması
Gözlenen uyum \(p_o = (a + d) / n\) şeklindedir; bu, değerlendiricilerin üzerinde anlaştığı öğelerin oranıdır. Beklenen uyum \(p_e\) ise kenar toplamlarından kurulur: her ikisinin de Evet deme olasılığı artı her ikisinin de Hayır deme olasılığı. Kappa ise şu şekilde bulunur:
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$Değerin 1 olması kusursuz uyumu, 0 olması tesadüfe eşit uyumu, negatif değerler ise tesadüften daha kötü bir durumu gösterir.
Çözümlü örnek
Diyelim ki \(a = 20\), \(b = 5\), \(c = 10\), \(d = 15\), yani \(n = 50\). Gözlenen uyum
$$p_o = \frac{20 + 15}{50} = 0{,}70$$olur. Kenar toplamları
$$p_e = \frac{25}{50}\cdot\frac{30}{50} + \frac{25}{50}\cdot\frac{20}{50} = 0{,}30 + 0{,}20 = 0{,}50$$değerini verir. Buna göre
$$\kappa = \frac{0{,}70 - 0{,}50}{1 - 0{,}50} = \frac{0{,}20}{0{,}50} = 0{,}40$$çıkar ve bu da orta düzeyin altında ("makul") bir uyuma işaret eder.
Sık sorulan sorular
Değeri nasıl yorumlarım? Yaygın bir ölçek (Landis & Koch): <0 zayıf, 0–0,20 önemsiz, 0,21–0,40 makul, 0,41–0,60 orta, 0,61–0,80 belirgin, 0,81–1,00 neredeyse kusursuz.
Uyum yüksek olmasına rağmen kappa neden düşük çıkıyor? Bir kategori baskın olduğunda tesadüfi uyum (\(p_e\)) yükselir; bu yüzden %90'ın üzerinde ham uyum olsa bile kappa düşük çıkabilir. Buna "kappa paradoksu" denir.
Kappa negatif olabilir mi? Evet. Negatif kappa, gözlenen uyumun tesadüfen beklenenin altında olduğunu gösterir ve sistematik bir anlaşmazlığa işaret eder.