シャノンエントロピーとは？
シャノンエントロピーとは、確率分布に含まれる「不確実性」や「情報量」の平均的な大きさを表す指標です。1948年にクロード・シャノンによって提唱され、情報理論の礎となりました。今日ではデータ圧縮、暗号、機械学習、統計など、幅広い分野で活用されています。ある結果が確実に起こる（確率1）分布ではエントロピーはゼロになり、逆に多数の結果が一様な確率で起こる分布では、エントロピーは取りうる最大値になります。
この計算機の使い方
各結果の確率をカンマ区切りで入力します。たとえば 0.5, 0.25, 0.25 のように指定してください。次に対数の底を選びます。底2ならビット、底e（自然対数）ならナット、底10ならディット（ハートレー）で結果が表示されます。確率の合計がちょうど1にならない場合でも、計算機が合計値で割って自動的に正規化します。ゼロや負の値は計算から除外されます。
計算式の解説
エントロピーは $$H = -\sum_{i} p_i \, \log_{b} p_i$$ という式で求めます。各確率は \(-p_i \cdot \log_b(p_i)\) という形で寄与し、これらをすべて足し合わせて符号を反転させると、必ず0以上の値になります。n個の結果に対する最大エントロピーは \(\log_b(n)\) で、すべての結果が等しい確率で起こるときに達成されます。効率（efficiency）は、実際のエントロピーがこの最大値の何パーセントにあたるかを示したものです。
計算例
確率が 0.5, 0.25, 0.25 の場合を、ビット単位で計算してみましょう。各項は \(-0.5 \cdot \log_2(0.5) = 0.5\)、\(-0.25 \cdot \log_2(0.25) = 0.5\)、そしてもう一方も \(0.5\) となります。これらを合計すると $$H = 1.5 \text{ ビット}$$ です。結果が3つのときの最大値は \(\log_2(3) \approx 1.585\) ビットなので、効率は約 94.64% となります。
よくある質問
確実に起こる事象では、なぜエントロピーがゼロになるのですか？ ある結果の確率が1の場合、不確実性はまったく存在しません。そのため、その結果が実際に起こっても新たに得られる情報はなく、エントロピーはゼロになります。
ビットとナットの違いは何ですか？ どちらも単位の違いにすぎず、対数の底によって決まります。1ナットは約1.4427ビットに相当します。
確率の合計は必ず1にしなければなりませんか？ 理想的には1にするのが望ましいですが、合計が1でなくても本ツールが自動的に正規化するので心配ありません。
