Что такое энтропия Шеннона?
Энтропия Шеннона показывает, насколько в среднем непредсказуема случайная величина — то есть сколько неопределённости, «неожиданности» или информации она в себе несёт. Это понятие ввёл Клод Шеннон в 1948 году, и именно оно легло в основу всей теории информации. Когда мы берём логарифм по основанию 2, энтропия измеряется в битах. Один бит — это ровно та неопределённость, которая возникает при подбрасывании честной монеты.
Как пользоваться калькулятором
Введите вероятность каждого возможного исхода, разделяя значения запятыми или пробелами (например, 0.5, 0.25, 0.25). Можно вводить и «сырые» частоты или количества (скажем, 10, 5, 5) — калькулятор сам приведёт их к вероятностям, разделив каждое число на сумму. Нулевые и отрицательные значения просто игнорируются. На выходе вы получите энтропию в битах, её максимально возможное значение и эффективность распределения.
Разбор формулы
Энтропия вычисляется по формуле $$H = -\sum_{i=1}^{n} p_i \log_2 p_i$$ где сумма берётся по всем исходам \(i\). Каждое слагаемое — это количество информации в отдельном исходе, \(-\log_2 p_i\), взвешенное по тому, как часто этот исход случается, \(p_i\). Редкие события несут больше информации, а достоверное событие (\(p_i = 1\)) не несёт её вовсе. Максимальная энтропия для \(n\) исходов равна \(\log_2 n\) и достигается тогда, когда все исходы равновероятны. Эффективность выражает \(H\) в процентах от этого максимума.
Пример расчёта
Возьмём распределение {0.5, 0.25, 0.25}. Энтропия равна: $$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1{,}5 \text{ бита}$$ 1,5 бита. Максимальная энтропия для 3 исходов составляет \(\log_2(3) \approx 1{,}585\) бита, так что эффективность получается около 94,64%.
Частые вопросы
Почему именно биты? Логарифм по основанию 2 даёт энтропию в битах — это естественная единица для цифровой информации. С основанием \(e\) получаются «наты», а с основанием 10 — «хартли».
Обязательно ли, чтобы вероятности в сумме давали 1? Нет — калькулятор нормирует любые положительные значения, поэтому можно прямо вставлять необработанные частоты.
Чему равна максимальная энтропия? Для \(n\) равновероятных исходов она равна \(\log_2(n)\). У честной монеты (\(n=2\)) максимум составляет 1 бит, у честной игральной кости (\(n=6\)) — около 2,585 бита.
