ما هي إنتروبيا شانون؟
تقيس إنتروبيا شانون متوسط مقدار عدم اليقين، أو كمية المعلومات، الكامنة في توزيع احتمالي معيّن. وقد قدّمها عالم الرياضيات كلود شانون عام 1948، لتصبح حجر الأساس في نظرية المعلومات، وتُستخدم على نطاق واسع في ضغط البيانات والتشفير وتعلّم الآلة والإحصاء. فالتوزيع الذي تكون فيه إحدى النتائج مؤكدة الحدوث تساوي إنتروبيته صفرًا، بينما يبلغ التوزيع المنتظم على عدد كبير من النتائج أقصى قيمة ممكنة للإنتروبيا.
كيفية استخدام الحاسبة
أدخل احتمالات كل نتيجة على شكل قائمة مفصولة بفواصل، مثل 0.5, 0.25, 0.25. ثم اختر أساس اللوغاريتم: فالأساس 2 يعطي النتيجة بوحدة البِت، والأساس e يعطيها بوحدة النات، والأساس 10 يعطيها بوحدة الدِت (أو الهارتلي). وإذا لم يكن مجموع الاحتمالات مساويًا تمامًا للواحد، فإن الحاسبة تعيد توحيدها تلقائيًا بقسمة كل قيمة على المجموع الكلي. أما القيم الصفرية أو السالبة فيتم تجاهلها.
شرح المعادلة
تُحسب الإنتروبيا وفق العلاقة $$H = -\sum_{i} p_i \, \log_{b} p_i \qquad p_i = \frac{\text{Value}_i}{\sum_j \text{Value}_j}$$ إذ يُسهم كل احتمال بالمقدار \(-p_i \cdot \log_b(p_i)\)، وبجمع هذه الحدود ثم عكس إشارتها نحصل على قيمة غير سالبة. وتبلغ الإنتروبيا القصوى لعدد \(n\) من النتائج \(\log_b(n)\)، وتتحقق عندما تكون جميع النتائج متساوية في الاحتمال. أما الكفاءة فتُعبّر عن إنتروبيتك كنسبة مئوية من تلك القيمة القصوى.
مثال محلول
لنأخذ الاحتمالات 0.5 و0.25 و0.25 بوحدة البِت. تكون الحدود: \(-0.5 \cdot \log_2(0.5) = 0.5\)، و\(-0.25 \cdot \log_2(0.25) = 0.5\)، ثم 0.5 مرة أخرى. وبجمعها نحصل على $$H = 1.5 \text{ بِت}$$ أما القيمة القصوى لثلاث نتائج فهي \(\log_2(3) \approx 1.585\) بِت، وبذلك تكون الكفاءة \(\approx 94.64\%\).
الأسئلة الشائعة
لماذا تساوي الإنتروبيا صفرًا في حالة الحدث المؤكد؟ إذا كان احتمال إحدى النتائج يساوي 1، فلا يوجد أي عدم يقين، ومن ثَمّ لا تُكتسب أي معلومة عند وقوعها.
ما الفرق بين البِت والنات؟ إنهما مجرد وحدتين مختلفتين يحددهما أساس اللوغاريتم. فالنات الواحد يساوي تقريبًا 1.4427 بِت.
هل يجب أن يكون مجموع الاحتمالات مساويًا للواحد؟ الأفضل أن يكون كذلك، لكن هذه الأداة تعيد توحيدها تلقائيًا إذا لم يتحقق ذلك.
