Shannon Entropisi Nedir?
Shannon entropisi, bir rastgele değişkenin içerdiği ortalama belirsizlik, sürpriz ya da bilgi miktarını ölçer. 1948 yılında Claude Shannon tarafından ortaya atılan bu kavram, bilgi kuramının temel taşıdır ve 2 tabanlı logaritma kullanıldığında bit cinsinden ifade edilir. 1 bitlik entropi, hilesiz bir paranın tek atışındaki belirsizliğe karşılık gelir.
Hesaplayıcı Nasıl Kullanılır?
Olası her sonucun olasılığını virgül veya boşlukla ayırarak girin (örneğin 0.5, 0.25, 0.25). Dilerseniz ham frekans ya da sayım değerlerini de girebilirsiniz (örneğin 10, 5, 5) — hesaplayıcı her değeri toplama bölerek bunları otomatik olarak olasılıklara dönüştürür. Sıfır ve negatif değerler dikkate alınmaz. Araç size bit cinsinden entropiyi, ulaşılabilecek maksimum entropiyi ve dağılımın verimliliğini gösterir.
Formülün Açıklaması
Entropi, her bir i sonucu üzerinden toplanarak
$$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$şeklinde hesaplanır. Her terim, bir sonucun taşıdığı bilgi miktarını (\(-\log_2 p_i\)) o sonucun ne sıklıkta gerçekleştiğiyle (\(p_i\)) ağırlıklandırır. Nadir olaylar daha fazla bilgi taşır; kesin olaylar (\(p_i = 1\)) ise hiç bilgi taşımaz. \(n\) sonuç için maksimum entropi \(\log_2(n)\) olup, bu değere tüm sonuçların eşit olasılıkta olması durumunda ulaşılır. Verimlilik ise \(H\) değerinin bu maksimuma oranını yüzde olarak ifade eder.
Örnek Hesaplama
{0.5, 0.25, 0.25} dağılımını ele alalım. Entropi şöyle hesaplanır:
$$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = \textbf{1.5 bit}$$3 sonuç için maksimum entropi \(\log_2(3) \approx 1.585\) bittir; bu da yaklaşık %94,64'lük bir verimlilik anlamına gelir.
Sıkça Sorulan Sorular
Neden bit? 2 tabanlı logaritma kullanıldığında entropi, dijital bilginin doğal birimi olan bit cinsinden elde edilir. e tabanı "nat", 10 tabanı ise "hartley" birimini verir.
Olasılıklarımın toplamı 1 olmak zorunda mı? Hayır — hesaplayıcı pozitif değerleri otomatik olarak normalleştirir, dolayısıyla ham sayımları doğrudan yapıştırabilirsiniz.
Maksimum entropi nedir? Eşit olasılıklı \(n\) sonuç için \(\log_2(n)\) değerine eşittir. Hilesiz bir para (\(n=2\)) için maksimum entropi 1 bit, hilesiz bir zar (\(n=6\)) için ise yaklaşık 2.585 bittir.
