¿Qué es la entropía de Shannon?
La entropía de Shannon mide la cantidad media de incertidumbre, sorpresa o información que contiene una variable aleatoria. Propuesta por Claude Shannon en 1948, es la piedra angular de la teoría de la información y se expresa en bits cuando se utiliza el logaritmo en base 2. Una entropía de 1 bit equivale a la incertidumbre que genera lanzar una moneda equilibrada al aire.
Cómo usar la calculadora
Introduce la probabilidad de cada resultado posible separada por comas o espacios (por ejemplo, 0.5, 0.25, 0.25). También puedes introducir frecuencias o recuentos brutos (como 10, 5, 5): la calculadora los normaliza automáticamente convirtiéndolos en probabilidades, dividiendo cada valor entre el total. Los valores nulos y negativos se ignoran. La herramienta devuelve la entropía en bits, la entropía máxima posible y la eficiencia de la distribución.
La fórmula al detalle
La entropía se calcula como $$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$ sumando para cada resultado i. Cada término pondera el contenido de información de un resultado, \(-\log_2 p_i\), según la frecuencia con que ocurre, \(p_i\). Los sucesos raros aportan más información; los sucesos seguros (\(p_i = 1\)) no aportan ninguna. La entropía máxima para \(n\) resultados es \(\log_2 n\), y se alcanza cuando todos los resultados son igual de probables. La eficiencia expresa \(H\) como un porcentaje de ese máximo.
Ejemplo resuelto
Tomemos la distribución {0.5, 0.25, 0.25}. La entropía es: $$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1{,}5 \text{ bits}$$ La entropía máxima para 3 resultados es \(\log_2(3) \approx 1{,}585\) bits, lo que da una eficiencia de en torno al 94,64 %.
Preguntas frecuentes
¿Por qué bits? Usar el logaritmo en base 2 da la entropía en bits, la unidad natural de la información digital. La base e da «nats» y la base 10 da «hartleys».
¿Mis probabilidades tienen que sumar 1? No: la calculadora normaliza cualquier conjunto de valores positivos, así que puedes pegar directamente recuentos brutos.
¿Cuál es la entropía máxima? Para \(n\) resultados igual de probables equivale a \(\log_2 n\). Una moneda equilibrada (\(n=2\)) tiene una entropía máxima de 1 bit; un dado equilibrado (\(n=6\)), unos 2,585 bits.
