什么是香农熵？
香农熵衡量的是一个概率分布所包含的平均不确定性（也就是信息量）。它由克劳德·香农（Claude Shannon）于 1948 年提出，是信息论的基石，广泛应用于数据压缩、密码学、机器学习和统计学等领域。当某个结果必然发生时，分布的熵为零；而当多个结果均匀分布时，熵则达到理论上的最大值。
如何使用本计算器
用英文逗号分隔，依次填入每个结果的概率，例如 0.5, 0.25, 0.25。再选择对数的底数：以 2 为底得到的结果单位是比特（bit），以 e 为底得到奈特（nat），以 10 为底则得到迪特（dit，也叫哈特利 hartley）。如果你输入的概率之和不正好等于 1，计算器会自动将它们除以总和进行归一化处理。为零或为负的数值会被自动忽略。
公式详解
熵的计算公式为 $$H = -\sum_{i} p_i \, \log_{b} p_i$$ 每个概率贡献一项 \(-p_i \cdot \log_{b}(p_i)\)，将所有项相加后取负号，即可得到一个非负的结果。对于 \(n\) 个结果，最大熵为 \(\log_{b}(n)\)，当所有结果出现的概率完全相等时即可达到。熵效率则表示当前的熵占最大熵的百分比。
实例演算
以概率 0.5、0.25、0.25，单位为比特为例。各项分别为 \(-0.5 \cdot \log_{2}(0.5) = 0.5\)，\(-0.25 \cdot \log_{2}(0.25) = 0.5\)，最后一项同样为 0.5。三者相加得 \(H = 1.5\) 比特。3 个结果的最大熵为 \(\log_{2}(3) \approx 1.585\) 比特，因此熵效率约为 94.64%。
常见问题
为什么必然发生的事件熵为零？如果某个结果的概率为 1，就完全没有不确定性，因此它发生时不会带来任何新的信息。
比特和奈特有什么区别？它们只是不同的单位，由对数的底数决定。1 奈特 ≈ 1.4427 比特。
概率之和必须等于 1 吗？理想情况下是的，但如果不等于 1，本工具会自动为你进行归一化处理。
