Qu'est-ce que le Kappa de Cohen ?
Le Kappa de Cohen (\(\kappa\)) est un indice statistique qui mesure le degré d'accord entre deux évaluateurs qui classent chacun des éléments dans des catégories mutuellement exclusives. Contrairement à un simple pourcentage de concordances, le kappa corrige l'accord qui surviendrait par pur hasard, ce qui en fait une mesure de fiabilité bien plus honnête. Ce calculateur traite le cas le plus courant : deux évaluateurs et deux catégories (un tableau 2×2).
Comment utiliser ce calculateur
Saisissez les quatre effectifs de votre tableau de contingence 2×2 : le nombre d'éléments que les deux évaluateurs ont classés « Oui » (a), le nombre que l'évaluateur 1 a classé Oui alors que l'évaluateur 2 a classé Non (b), l'inverse (c), et le nombre que les deux ont classé « Non » (d). Le calculateur renvoie le kappa, accompagné de l'accord observé et de l'accord attendu par hasard.
La formule expliquée
L'accord observé est \(p_o = (a + d) / n\), soit la proportion d'éléments pour lesquels les évaluateurs sont d'accord. L'accord attendu \(p_e\) se calcule à partir des totaux marginaux : la probabilité que les deux disent Oui, plus la probabilité qu'ils disent tous deux Non. Le kappa vaut alors
$$\kappa = \frac{p_o - p_e}{1 - p_e}$$Une valeur de 1 indique un accord parfait, 0 un accord équivalent au hasard, et une valeur négative un accord pire que le hasard.
Exemple chiffré
Supposons \(a = 20\), \(b = 5\), \(c = 10\), \(d = 15\), soit \(n = 50\). L'accord observé est
$$p_o = \frac{20 + 15}{50} = 0{,}70$$Les marges donnent
$$p_e = \frac{25}{50}\cdot\frac{30}{50} + \frac{25}{50}\cdot\frac{20}{50} = 0{,}30 + 0{,}20 = 0{,}50$$On obtient donc
$$\kappa = \frac{0{,}70 - 0{,}50}{1 - 0{,}50} = \frac{0{,}20}{0{,}50} = 0{,}40$$ce qui correspond à un accord modéré (« fair »).
FAQ
Comment interpréter la valeur ? Un barème courant (Landis & Koch) : <0 médiocre, 0–0,20 très faible, 0,21–0,40 faible, 0,41–0,60 modéré, 0,61–0,80 substantiel, 0,81–1,00 quasi parfait.
Pourquoi mon kappa est-il faible malgré un fort accord ? Lorsqu'une catégorie domine largement, l'accord attendu par hasard (\(p_e\)) est élevé : le kappa peut donc rester faible même avec plus de 90 % de concordance brute. C'est le célèbre paradoxe du kappa.
Le kappa peut-il être négatif ? Oui. Un kappa négatif signifie que l'accord observé est inférieur à ce que prédit le hasard, ce qui suggère un désaccord systématique.
