Cohen's Kappa là gì?
Cohen's Kappa (\(\kappa\)) là một chỉ số thống kê dùng để đo mức độ đồng thuận giữa hai người đánh giá khi cả hai cùng phân loại các đối tượng vào những nhóm loại trừ lẫn nhau. Khác với việc chỉ tính tỷ lệ phần trăm số lần hai người trùng khớp, kappa đã loại trừ phần đồng thuận có thể xảy ra hoàn toàn do may rủi, nên cho ra một thước đo độ tin cậy trung thực hơn. Công cụ này xử lý trường hợp phổ biến nhất: hai người đánh giá và hai nhóm phân loại (bảng 2x2).
Cách sử dụng công cụ
Bạn hãy nhập bốn ô số liệu của bảng tần suất 2x2: số đối tượng được cả hai người cùng phân loại là "Có" (a), số đối tượng mà Người đánh giá 1 chọn "Có" nhưng Người đánh giá 2 chọn "Không" (b), trường hợp ngược lại (c), và số đối tượng được cả hai cùng chọn "Không" (d). Công cụ sẽ trả về giá trị kappa cùng với độ đồng thuận quan sát và độ đồng thuận kỳ vọng do may rủi.
Giải thích công thức
Độ đồng thuận quan sát là \(p_o = (a + d) / n\), tức tỷ lệ số đối tượng mà hai người đánh giá nhất trí với nhau. Độ đồng thuận kỳ vọng \(p_e\) được tính từ các tổng biên: xác suất cả hai cùng nói "Có" cộng với xác suất cả hai cùng nói "Không". Khi đó, kappa được tính theo công thức
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$Giá trị bằng 1 nghĩa là đồng thuận hoàn hảo, bằng 0 nghĩa là mức đồng thuận chỉ ngang với may rủi, còn giá trị âm có nghĩa là kém hơn cả may rủi.
Ví dụ minh họa
Giả sử \(a = 20\), \(b = 5\), \(c = 10\), \(d = 15\), vậy \(n = 50\). Độ đồng thuận quan sát
$$p_o = \frac{20 + 15}{50} = 0{,}70$$Các tổng biên cho ta
$$p_e = \frac{25}{50}\cdot\frac{30}{50} + \frac{25}{50}\cdot\frac{20}{50} = 0{,}30 + 0{,}20 = 0{,}50$$Do đó
$$\kappa = \frac{0{,}70 - 0{,}50}{1 - 0{,}50} = \frac{0{,}20}{0{,}50} = 0{,}40$$tương ứng với mức đồng thuận khá (fair).
Câu hỏi thường gặp
Làm sao để diễn giải giá trị kappa? Một thang tham chiếu thông dụng (Landis & Koch): <0 rất kém, 0–0,20 không đáng kể, 0,21–0,40 khá, 0,41–0,60 trung bình, 0,61–0,80 đáng kể, 0,81–1,00 gần như hoàn hảo.
Tại sao kappa của tôi thấp dù tỷ lệ trùng khớp cao? Khi một nhóm phân loại chiếm áp đảo, độ đồng thuận do may rủi (\(p_e\)) sẽ rất cao, nên kappa có thể thấp ngay cả khi tỷ lệ trùng khớp thô đạt trên 90% — đây gọi là nghịch lý kappa.
Kappa có thể âm không? Có. Kappa âm nghĩa là độ đồng thuận quan sát còn thấp hơn mức mà may rủi dự đoán, cho thấy có sự bất đồng mang tính hệ thống.
