Что такое энтропия Шеннона?
Энтропия Шеннона показывает среднюю меру неопределённости — или количества информации, — заложенной в распределении вероятностей. Это понятие ввёл Клод Шеннон в 1948 году, и сегодня оно лежит в основе теории информации, широко применяясь в сжатии данных, криптографии, машинном обучении и статистике. Если один исход гарантирован, энтропия равна нулю; а равномерное распределение по множеству исходов даёт максимально возможную энтропию.
Как пользоваться калькулятором
Введите вероятности каждого исхода через запятую, например 0.5, 0.25, 0.25. Выберите основание логарифма: основание 2 даёт результат в битах, основание e — в натах, а основание 10 — в дитах (хартли). Если сумма вероятностей не равна точно 1, калькулятор автоматически нормирует их, разделив каждую на общую сумму. Нулевые и отрицательные значения игнорируются.
Разбор формулы
Энтропия вычисляется по формуле $$H = -\sum_{i} p_i \, \log_{b} p_i$$ Каждая вероятность вносит вклад \(-p_i \log_b p_i\); суммируя эти слагаемые и меняя знак, мы получаем неотрицательное число. Максимальная энтропия для \(n\) исходов равна \(\log_b(n)\) и достигается тогда, когда все исходы равновероятны. Эффективность выражает полученную энтропию в процентах от этого максимума.
Пример с расчётом
Возьмём вероятности 0.5, 0.25, 0.25 и считаем в битах. Слагаемые: \(-0.5\cdot\log_2(0.5) = 0.5\), \(-0.25\cdot\log_2(0.25) = 0.5\) и снова \(0.5\). В сумме получаем $$H = 1.5 \text{ бита}$$ Максимум для 3 исходов равен \(\log_2(3) \approx 1.585\) бита, поэтому эффективность \(\approx 94.64\%\).
Частые вопросы
Почему энтропия равна нулю для достоверного события? Если вероятность одного исхода равна 1, неопределённости нет, поэтому при его наступлении мы не получаем никакой новой информации.
Чем биты отличаются от натов? Это просто разные единицы измерения, задаваемые основанием логарифма. \(1\) нат \(\approx 1.4427\) бита.
Обязательно ли вероятности должны давать в сумме 1? В идеале да, но если это не так, инструмент нормирует их автоматически.
