Qu'est-ce que l'entropie de Shannon ?
L'entropie de Shannon mesure la quantité moyenne d'incertitude — ou d'information — contenue dans une loi de probabilité. Formulée par Claude Shannon en 1948, elle constitue la pierre angulaire de la théorie de l'information et trouve de nombreuses applications : compression de données, cryptographie, apprentissage automatique ou encore statistiques. Une distribution dont l'issue est certaine possède une entropie nulle, tandis qu'une loi uniforme répartie sur de nombreuses issues atteint l'entropie maximale possible.
Comment utiliser ce calculateur
Saisissez les probabilités de chaque issue sous forme de liste séparée par des virgules, par exemple 0.5, 0.25, 0.25. Choisissez ensuite la base du logarithme : la base 2 donne le résultat en bits, la base e en nats et la base 10 en dits (ou hartleys). Si vos probabilités ne totalisent pas exactement 1, le calculateur les normalise automatiquement en les divisant par leur somme. Les valeurs nulles ou négatives sont ignorées.
La formule expliquée
L'entropie se calcule selon $$H = -\sum_{i} p_i \, \log_{b} p_i \qquad p_i = \frac{\text{Value}_i}{\sum_j \text{Value}_j}$$ Chaque probabilité contribue à hauteur de \(-p_i \cdot \log_{b}(p_i)\) ; en additionnant ces termes puis en changeant le signe, on obtient une valeur toujours positive ou nulle. Pour \(n\) issues, l'entropie maximale vaut \(\log_{b}(n)\) et n'est atteinte que lorsque toutes les issues sont équiprobables. L'efficacité exprime votre entropie en pourcentage de ce maximum.
Exemple détaillé
Prenons les probabilités 0.5, 0.25, 0.25, exprimées en bits. Les termes valent $$-0.5 \cdot \log_{2}(0.5) = 0.5, \quad -0.25 \cdot \log_{2}(0.25) = 0.5,$$ puis de nouveau \(0.5\). Leur somme donne \(H = 1{,}5\) bit. Le maximum pour 3 issues étant \(\log_{2}(3) \approx 1{,}585\) bit, l'efficacité s'élève à environ 94,64 %.
FAQ
Pourquoi l'entropie est-elle nulle pour un événement certain ? Si une issue a une probabilité de 1, il n'existe aucune incertitude : sa réalisation n'apporte donc aucune information.
Quelle est la différence entre les bits et les nats ? Ce ne sont que des unités différentes, déterminées par la base du logarithme. \(1 \text{ nat} \approx 1{,}4427 \text{ bit}\).
Les probabilités doivent-elles obligatoirement totaliser 1 ? Idéalement oui, mais cet outil les normalise automatiquement si ce n'est pas le cas.
