什麼是 Cohen's Kappa?
Cohen's Kappa(\(\kappa\))是一種用來衡量兩位評分者一致性的統計量,前提是兩人都把受測項目歸入彼此互斥的類別。它和單純的「相符百分比」不同——Kappa 會扣除純粹靠運氣(隨機)就會出現的一致程度,因此能更如實地反映評分的可靠度。本計算器處理最常見的情況:兩位評分者、兩個類別(即 2×2 列聯表)。
如何使用本計算器
請輸入 2×2 列聯表的四個格子人數:兩位評分者都判定為「是」的數量(a)、評分者 1 判「是」但評分者 2 判「否」的數量(b)、相反情況的數量(c),以及兩人都判「否」的數量(d)。計算器會回傳 Kappa 值,並一併顯示實際一致率與隨機期望一致率。
公式說明
實際一致率為 \(p_o = (a + d) / n\),也就是兩位評分者意見相符的比例。期望一致率 \(p_e\) 則由邊際總和推算而來:兩人都說「是」的機率,加上兩人都說「否」的機率。Kappa 為
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$數值為 1 代表完全一致,0 代表一致程度等同於隨機,負值則表示比隨機還差。
實例演算
假設 \(a = 20\)、\(b = 5\)、\(c = 10\)、\(d = 15\),因此 \(n = 50\)。實際一致率
$$p_o = \frac{20 + 15}{50} = 0.70$$由邊際總和可得
$$p_e = \left(\frac{25}{50}\right)\left(\frac{30}{50}\right) + \left(\frac{25}{50}\right)\left(\frac{20}{50}\right) = 0.30 + 0.20 = 0.50$$因此
$$\kappa = \frac{0.70 - 0.50}{1 - 0.50} = \frac{0.20}{0.50} = 0.40$$屬於「尚可(fair)」的一致程度。
常見問題
該怎麼判讀數值?常用的對照標準(Landis 與 Koch)為:<0 不佳、0–0.20 極微(slight)、0.21–0.40 尚可(fair)、0.41–0.60 中等(moderate)、0.61–0.80 高度(substantial)、0.81–1.00 幾乎完全一致(almost perfect)。
為什麼一致率很高,Kappa 卻偏低?當某一類別占絕大多數時,隨機一致率(\(p_e\))會很高,因此即使原始一致率超過 90%,Kappa 仍可能偏低——這就是所謂的「Kappa 悖論」。
Kappa 可能是負值嗎?可以。負的 Kappa 代表實際一致程度低於隨機預期,暗示存在系統性的不一致。