Qu'est-ce que l'entropie de Shannon ?
L'entropie de Shannon mesure la quantité moyenne d'incertitude, de surprise ou d'information contenue dans une variable aléatoire. Introduite par Claude Shannon en 1948, elle constitue le socle de la théorie de l'information et s'exprime en bits lorsqu'on utilise le logarithme en base 2. Une entropie de 1 bit correspond à l'incertitude d'un seul lancer de pièce équilibrée.
Comment utiliser le calculateur
Saisissez la probabilité de chaque résultat possible, séparée par des virgules ou des espaces (par exemple 0.5, 0.25, 0.25). Vous pouvez aussi entrer des fréquences ou des effectifs bruts (comme 10, 5, 5) : le calculateur les convertit automatiquement en probabilités en divisant chaque valeur par le total. Les valeurs nulles ou négatives sont ignorées. L'outil affiche l'entropie en bits, l'entropie maximale possible et l'efficacité de la distribution.
La formule expliquée
L'entropie se calcule selon $$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$ en sommant sur chaque résultat \(i\). Chaque terme pondère la quantité d'information d'un résultat, \(-\log_2 p_i\), par sa fréquence d'apparition, \(p_i\). Les événements rares apportent davantage d'information ; les événements certains (\(p_i = 1\)) n'en apportent aucune. L'entropie maximale pour \(n\) résultats vaut \(\log_2 n\), atteinte lorsque tous les résultats sont équiprobables. L'efficacité exprime \(H\) en pourcentage de ce maximum.
Exemple concret
Prenons la distribution {0.5, 0.25, 0.25}. L'entropie vaut : $$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1{,}5 \text{ bit}$$ L'entropie maximale pour 3 résultats est \(\log_2(3) \approx 1{,}585\) bit, soit une efficacité d'environ 94,64 %.
FAQ
Pourquoi des bits ? Le logarithme en base 2 donne l'entropie en bits, l'unité naturelle de l'information numérique. La base \(e\) donne des « nats » et la base 10 des « hartleys ».
Mes probabilités doivent-elles avoir une somme égale à 1 ? Non : le calculateur normalise toute valeur positive, vous pouvez donc coller directement des effectifs bruts.
Quelle est l'entropie maximale ? Pour \(n\) résultats équiprobables, elle vaut \(\log_2 n\). Une pièce équilibrée (\(n=2\)) a une entropie maximale de 1 bit ; un dé équilibré (\(n=6\)) d'environ 2,585 bits.
