什麼是夏農熵？
夏農熵（Shannon entropy）用來衡量一個隨機變數平均蘊含的不確定性、意外程度或資訊量。這個概念由克勞德·夏農（Claude Shannon）於 1948 年提出，是資訊理論的基石。當採用以 2 為底的對數時，熵的單位是位元（bit）。熵為 1 位元，正好相當於擲一枚公正硬幣所帶來的不確定性。
如何使用本計算器
請以逗號或空格分隔，輸入每個可能結果的機率（例如 0.5, 0.25, 0.25）。你也可以直接輸入原始的頻率或次數（例如 10, 5, 5）——計算器會自動將每個數值除以總和，把它們正規化成機率。數值為零或負數的項目會被忽略。完成後，工具會回傳以位元計算的熵值、可能的最大熵，以及這個分布的效率。
公式說明
熵的計算方式為 $$H = -\sum_{i=1}^{n} p_i \log_2 p_i$$ 對每一個結果 \(i\) 加總。每一項都是以該結果出現的頻率 \(p_i\)，去加權它所帶來的資訊量 \(-\log_2(p_i)\)。罕見事件攜帶較多資訊；而必然發生的事件（\(p_i = 1\)）則完全不帶資訊。對 \(n\) 個結果而言，最大熵為 \(\log_2(n)\)，當所有結果機率相等時即可達到。效率則是把 \(H\) 表示為最大熵的百分比。其中 $$p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$
實際範例
以分布 {0.5, 0.25, 0.25} 為例，其熵為：$$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1.5 \text{ 位元}$$ 3 個結果的最大熵為 \(\log_2(3) \approx 1.585\) 位元，因此效率約為 94.64%。
常見問題
為什麼用位元（bit）？採用以 2 為底的對數，可得到以位元為單位的熵，這正是數位資訊最自然的單位。若以 \(e\) 為底，單位為「奈特（nats）」；以 10 為底則為「哈特利（hartleys）」。
我的機率一定要加總為 1 嗎？不需要——計算器會自動將任何正值正規化，所以你可以直接貼上原始次數。
最大熵是多少？對 \(n\) 個等機率的結果而言，最大熵等於 \(\log_2(n)\)。一枚公正硬幣（\(n=2\)）的最大熵為 1 位元；一顆公正骰子（\(n=6\)）則約為 2.585 位元。
