शैनन एन्ट्रॉपी कैलकुलेटर

गणना दर्ज करें

प्रायिकताएँ या गिनती (अल्पविराम या स्पेस से अलग) हर परिणाम की प्रायिकता (या कच्ची आवृत्ति/गिनती) दर्ज करें। मान अपने आप सामान्यीकृत हो जाते हैं।

सूत्र (फॉर्मूला)

परिणाम

शैनन एन्ट्रॉपी

1.5

बिट्स

परिणामों की संख्या	3
अधिकतम एन्ट्रॉपी (log2 n)	1.585 bits
दक्षता (H / Hmax)	94.64%

शैनन एन्ट्रॉपी क्या है?

शैनन एन्ट्रॉपी किसी रैंडम वैरिएबल में मौजूद अनिश्चितता, आश्चर्य या सूचना की औसत मात्रा को मापती है। इसे 1948 में क्लॉड शैनन ने प्रस्तुत किया था और यही सूचना सिद्धांत (इन्फॉर्मेशन थ्योरी) की नींव है। जब बेस-2 लघुगणक का उपयोग किया जाता है, तो इसे बिट्स में मापा जाता है। 1 बिट की एन्ट्रॉपी एक निष्पक्ष सिक्के को उछालने जितनी अनिश्चितता के बराबर होती है।

एंट्रॉपी एकसमान वितरण में सबसे अधिक और जब एक परिणाम हावी हो तब सबसे कम होती है।

कैलकुलेटर का उपयोग कैसे करें

हर संभावित परिणाम की प्रायिकता को अल्पविराम या स्पेस से अलग करके दर्ज करें (उदाहरण के लिए 0.5, 0.25, 0.25)। आप कच्ची आवृत्तियाँ या गिनती भी दर्ज कर सकते हैं (जैसे 10, 5, 5) — कैलकुलेटर हर मान को कुल योग से भाग देकर उन्हें अपने आप प्रायिकताओं में बदल देता है। शून्य और ऋणात्मक मानों को नज़रअंदाज़ कर दिया जाता है। यह टूल आपको बिट्स में एन्ट्रॉपी, अधिकतम संभव एन्ट्रॉपी और वितरण की दक्षता बताता है।

फॉर्मूला समझें

एन्ट्रॉपी की गणना $$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$ के रूप में की जाती है, जिसमें हर परिणाम i का योग लिया जाता है। हर पद किसी परिणाम की सूचना मात्रा, \(-\log_2 p_i\), को उसकी आवृत्ति \(p_i\) के अनुसार भारित करता है। दुर्लभ घटनाएँ अधिक सूचना ले जाती हैं; निश्चित घटनाएँ (\(p_i = 1\)) कोई सूचना नहीं देतीं। \(n\) परिणामों के लिए अधिकतम एन्ट्रॉपी \(\log_2(n)\) होती है, जो तब प्राप्त होती है जब सभी परिणाम समान रूप से संभावित हों। दक्षता \(H\) को उस अधिकतम के प्रतिशत के रूप में दर्शाती है।

विज्ञापन

दो परिणामों के लिए, एंट्रॉपी p = 0.5 पर 1 बिट के शिखर पर पहुँचती है और चरम पर 0 हो जाती है।

हल किया हुआ उदाहरण

मान लीजिए वितरण {0.5, 0.25, 0.25} है। एन्ट्रॉपी होगी: $$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = \textbf{1.5 बिट्स}$$。 3 परिणामों के लिए अधिकतम एन्ट्रॉपी \(\log_2(3) \approx 1.585\) बिट्स होती है, जिससे दक्षता लगभग 94.64% बनती है।

अक्सर पूछे जाने वाले सवाल

बिट्स ही क्यों? बेस 2 के लघुगणक से एन्ट्रॉपी बिट्स में मिलती है, जो डिजिटल सूचना की स्वाभाविक इकाई है। बेस e से "नैट्स" (nats) और बेस 10 से "हार्टली" (hartleys) मिलते हैं।

क्या मेरी प्रायिकताओं का योग 1 होना ज़रूरी है? नहीं — कैलकुलेटर किसी भी धनात्मक मान को सामान्यीकृत कर देता है, इसलिए आप कच्ची गिनती सीधे पेस्ट कर सकते हैं।

अधिकतम एन्ट्रॉपी क्या होती है? \(n\) समान रूप से संभावित परिणामों के लिए यह \(\log_2(n)\) के बराबर होती है। एक निष्पक्ष सिक्के (\(n=2\)) की अधिकतम एन्ट्रॉपी 1 बिट है; एक निष्पक्ष पासे (\(n=6\)) की लगभग 2.585 बिट्स।