Shannon Entropisi Nedir?
Shannon entropisi, bir olasılık dağılımının taşıdığı ortalama belirsizlik ya da bilgi miktarını ölçer. 1948'de Claude Shannon tarafından ortaya atılan bu kavram, bilgi kuramının temel taşıdır ve veri sıkıştırma, kriptografi, makine öğrenmesi ve istatistik gibi alanlarda yaygın olarak kullanılır. Bir sonucun kesin olduğu dağılımda entropi sıfırdır; buna karşılık çok sayıda sonucun eşit olasılıkla yer aldığı bir dağılımda entropi mümkün olan en yüksek değere ulaşır.
Bu Hesaplayıcı Nasıl Kullanılır?
Her sonucun olasılığını virgülle ayırarak girin; örneğin 0.5, 0.25, 0.25. Ardından logaritma tabanını seçin: taban 2 sonucu bit, taban e nat, taban 10 ise dit (hartley) cinsinden verir. Olasılıklarınızın toplamı tam olarak 1 değilse, hesaplayıcı bunları toplamlarına bölerek otomatik olarak normalleştirir. Sıfır veya negatif değerler dikkate alınmaz.
Formülün Açıklaması
Entropi şu şekilde hesaplanır: $$H = -\sum_{i} p_i \, \log_{b} p_i$$ Her olasılık \(-p_i \cdot \log_{b}(p_i)\) kadar katkı sağlar; bu terimlerin toplamının işareti tersine çevrildiğinde negatif olmayan bir değer elde edilir. \(n\) sonuç için maksimum entropi \(\log_{b}(n)\)'dir ve tüm sonuçlar eşit olasılıkta olduğunda bu değere ulaşılır. Verimlilik ise entropinizin bu maksimuma oranını yüzde olarak ifade eder.
Örnek Hesaplama
Bit cinsinden 0.5, 0.25, 0.25 olasılıklarını ele alalım. Terimler şöyledir: \(-0.5 \cdot \log_{2}(0.5) = 0.5\), \(-0.25 \cdot \log_{2}(0.25) = 0.5\) ve yine \(0.5\). Bunları topladığımızda $$H = 1.5 \text{ bit}$$ elde ederiz. 3 sonuç için maksimum değer \(\log_{2}(3) \approx 1.585\) bit olduğundan, verimlilik ≈ %94.64 olur.
Sıkça Sorulan Sorular
Kesin bir olayda entropi neden sıfırdır? Bir sonucun olasılığı 1 ise hiçbir belirsizlik yoktur; dolayısıyla o olay gerçekleştiğinde yeni bir bilgi kazanılmaz.
Bit ile nat arasındaki fark nedir? Bunlar yalnızca logaritma tabanına göre değişen farklı birimlerdir. \(1 \text{ nat} \approx 1.4427 \text{ bit}\)'tir.
Olasılıkların toplamı 1 olmak zorunda mı? İdeal olarak evet, ancak bu araç toplam 1 değilse olasılıkları otomatik olarak normalleştirir.
