शैनन एन्ट्रॉपी क्या है?
शैनन एन्ट्रॉपी किसी प्रायिकता बंटन में मौजूद औसत अनिश्चितता—यानी सूचना की मात्रा—को मापती है। इसे 1948 में क्लॉड शैनन ने प्रस्तुत किया था और यह सूचना सिद्धांत (इन्फॉर्मेशन थ्योरी) की नींव है। डेटा कम्प्रेशन, क्रिप्टोग्राफी, मशीन लर्निंग और सांख्यिकी में इसका व्यापक उपयोग होता है। जिस बंटन में कोई एक परिणाम निश्चित हो, उसकी एन्ट्रॉपी शून्य होती है, जबकि कई परिणामों पर समान रूप से फैले एकसमान (यूनिफॉर्म) बंटन की एन्ट्रॉपी सबसे अधिक होती है।
इस कैलकुलेटर का उपयोग कैसे करें
हर परिणाम की प्रायिकता को कॉमा से अलग करके सूची के रूप में दर्ज करें, जैसे 0.5, 0.25, 0.25। अपना लघुगणक आधार (लॉग बेस) चुनें: आधार 2 से उत्तर बिट्स में, आधार e से नैट्स में, और आधार 10 से डिट्स (हार्टली) में मिलता है। यदि आपकी प्रायिकताओं का योग ठीक 1 नहीं होता, तो कैलकुलेटर उन्हें उनके कुल योग से भाग देकर अपने-आप सामान्यीकृत (नॉर्मलाइज़) कर लेता है। शून्य या ऋणात्मक मानों को नज़रअंदाज़ कर दिया जाता है।
सूत्र की व्याख्या
एन्ट्रॉपी की गणना $$H = -\sum_{i} p_i \, \log_{b} p_i$$ से की जाती है। हर प्रायिकता का योगदान \(-p_i \log_{b}(p_i)\) होता है; इन सभी पदों को जोड़कर ऋणात्मक चिह्न लगाने पर एक गैर-ऋणात्मक मान मिलता है। \(n\) परिणामों के लिए अधिकतम एन्ट्रॉपी \(\log_{b}(n)\) होती है, जो तब प्राप्त होती है जब सभी परिणाम समान रूप से संभावित हों। दक्षता (एफिशिएंसी) आपकी एन्ट्रॉपी को इसी अधिकतम मान के प्रतिशत के रूप में दर्शाती है।
हल किया गया उदाहरण
बिट्स में प्रायिकताएँ 0.5, 0.25, 0.25 लीजिए। इनके पद होंगे: \(-0.5 \cdot \log_{2}(0.5) = 0.5\), \(-0.25 \cdot \log_{2}(0.25) = 0.5\), और फिर से 0.5। इन्हें जोड़ने पर $$H = 1.5 \text{ बिट्स}$$ मिलता है। 3 परिणामों के लिए अधिकतम मान \(\log_{2}(3) \approx 1.585\) बिट्स है, इसलिए दक्षता \(\approx 94.64\%\) होगी।
अक्सर पूछे जाने वाले प्रश्न
किसी निश्चित घटना के लिए एन्ट्रॉपी शून्य क्यों होती है? यदि किसी एक परिणाम की प्रायिकता 1 है, तो कोई अनिश्चितता नहीं रहती, इसलिए उसके घटित होने पर कोई नई सूचना नहीं मिलती।
बिट्स और नैट्स में क्या अंतर है? ये केवल अलग-अलग इकाइयाँ हैं, जो लॉग आधार से तय होती हैं। \(1 \text{ नैट} \approx 1.4427 \text{ बिट्स}\)।
क्या प्रायिकताओं का योग 1 होना ज़रूरी है? आदर्श रूप से हाँ, लेकिन यदि ऐसा न हो तो यह टूल उन्हें अपने-आप सामान्यीकृत कर लेता है।
