什么是科恩Kappa系数?
科恩Kappa系数(\(\kappa\))是用来衡量两位评分者一致程度的统计量,前提是每位评分者都把样本归入互斥的类别中。与简单计算"匹配百分比"不同,Kappa会扣除纯属偶然就能达成的一致部分,因此能更真实地反映评分的信度。本计算器适用于最常见的情形:两位评分者、两个类别(即2×2表格)。
如何使用本计算器
请填入2×2列联表中的四个格子数:两位评分者都判为"是"的数量(a)、评分者1判"是"而评分者2判"否"的数量(b)、相反情况的数量(c),以及两人都判为"否"的数量(d)。计算器会返回Kappa值,并同时给出观察一致性与偶然期望一致性。
公式详解
观察一致性为 \(p_o = (a + d) / n\),即两位评分者意见一致的样本比例。期望一致性 \(p_e\) 则由边际合计推算而来:两人都说"是"的概率加上两人都说"否"的概率。Kappa的计算公式为
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$结果为1表示完全一致,为0表示一致程度仅相当于偶然,负值则代表比随机猜测还要差。
实例演算
假设 \(a = 20\)、\(b = 5\)、\(c = 10\)、\(d = 15\),则 \(n = 50\)。观察一致性
$$p_o = \frac{20 + 15}{50} = 0.70$$由边际合计可得
$$p_e = \frac{25}{50}\cdot\frac{30}{50} + \frac{25}{50}\cdot\frac{20}{50} = 0.30 + 0.20 = 0.50$$因此
$$\kappa = \frac{0.70 - 0.50}{1 - 0.50} = \frac{0.20}{0.50} = 0.40$$属于"中等偏低(一般)"的一致水平。
常见问题
该如何解读Kappa值? 常用的判读标准(Landis 与 Koch)为:<0 极差,0–0.20 轻微,0.21–0.40 一般,0.41–0.60 中等,0.61–0.80 显著,0.81–1.00 几乎完全一致。
为什么一致率很高,Kappa却很低? 当某一类别占绝对多数时,偶然一致性(\(p_e\))会很高,即使原始一致率超过90%,Kappa仍可能偏低——这就是著名的"Kappa悖论"。
Kappa可以是负数吗? 可以。负的Kappa意味着观察到的一致性低于随机预期,提示评分者之间存在系统性的分歧。