¿Qué es la entropía de Shannon?
La entropía de Shannon mide la cantidad media de incertidumbre —o de información— que contiene una distribución de probabilidad. Propuesta por Claude Shannon en 1948, constituye la base de la teoría de la información y se aplica en campos tan diversos como la compresión de datos, la criptografía, el aprendizaje automático y la estadística. Cuando un resultado es seguro, la entropía es cero; en cambio, una distribución uniforme repartida entre muchos resultados alcanza el valor máximo posible.
Cómo usar esta calculadora
Introduce las probabilidades de cada resultado en una lista separada por comas, por ejemplo 0.5, 0.25, 0.25. Elige la base del logaritmo: la base 2 ofrece el resultado en bits, la base e en nats y la base 10 en dits (también llamados hartleys). Si las probabilidades no suman exactamente 1, la calculadora las normaliza de forma automática dividiéndolas por su total. Los valores nulos o negativos se descartan.
La fórmula explicada
La entropía se calcula como $$H = -\sum_{i} p_i \, \log_{b} p_i.$$ Cada probabilidad aporta el término \(-p_i \cdot \log_b(p_i)\); al sumar todos esos términos y cambiar el signo se obtiene un valor que nunca es negativo. La entropía máxima para \(n\) resultados es \(\log_b(n)\), y se alcanza cuando todos los resultados son igual de probables. La eficiencia expresa tu entropía como un porcentaje de ese máximo.
Ejemplo resuelto
Tomemos las probabilidades 0.5, 0.25, 0.25 en bits. Los términos son \(-0.5 \cdot \log_2(0.5) = 0.5\), \(-0.25 \cdot \log_2(0.25) = 0.5\) y, de nuevo, \(0.5\). Al sumarlos obtenemos $$H = 1.5 \text{ bits}.$$ El máximo para 3 resultados es \(\log_2(3) \approx 1.585\) bits, de modo que la eficiencia \(\approx 94{,}64\,\%\).
Preguntas frecuentes
¿Por qué la entropía es cero en un suceso seguro? Si un resultado tiene probabilidad 1, no existe incertidumbre alguna, así que no se gana información cuando ocurre.
¿Qué diferencia hay entre bits y nats? Son simplemente unidades distintas, definidas por la base del logaritmo. \(1 \text{ nat} \approx 1.4427 \text{ bits}\).
¿Las probabilidades tienen que sumar 1? Lo ideal es que sí, pero esta herramienta las normaliza automáticamente si no lo hacen.
