ما هي إنتروبيا شانون؟
تقيس إنتروبيا شانون متوسط مقدار عدم اليقين أو المفاجأة أو كمية المعلومات الكامنة في متغير عشوائي. قدّمها كلود شانون عام 1948، وهي حجر الأساس في نظرية المعلومات، وتُقاس بوحدة البت عند استخدام اللوغاريتم ذي الأساس 2. تعادل الإنتروبيا البالغة 1 بت مقدار عدم اليقين الناتج عن رمي عملة معدنية متوازنة مرة واحدة.
كيفية استخدام الحاسبة
أدخل احتمال كل نتيجة ممكنة مفصولًا بفواصل أو مسافات (مثل 0.5, 0.25, 0.25). كما يمكنك إدخال تكرارات أو أعداد خام (مثل 10, 5, 5)، وستقوم الحاسبة بتحويلها تلقائيًا إلى احتمالات عبر قسمة كل قيمة على المجموع الكلي. أما القيم الصفرية والسالبة فيتم تجاهلها. تعرض الأداة الإنتروبيا بوحدة البت، والإنتروبيا القصوى الممكنة، وكفاءة التوزيع.
شرح المعادلة
تُحسب الإنتروبيا بالصيغة $$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$ حيث يُجمع الحد عبر كل نتيجة \(i\). يوازن كل حد محتوى المعلومات لنتيجة معينة، أي \(-\log_2 p_i\)، بمدى تكرارها \(p_i\). فالأحداث النادرة تحمل قدرًا أكبر من المعلومات، بينما الأحداث المؤكدة (\(p_i = 1\)) لا تحمل أي معلومات. والإنتروبيا القصوى لعدد \(n\) من النتائج تساوي \(\log_2(n)\)، وتتحقق عندما تكون جميع النتائج متساوية الاحتمال. أما الكفاءة فتعبّر عن \(H\) كنسبة مئوية من تلك القيمة القصوى.
مثال محلول
لنأخذ التوزيع {0.5, 0.25, 0.25}. تكون الإنتروبيا: $$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1.5 \text{ بت}$$ أما الإنتروبيا القصوى لثلاث نتائج فهي \(\log_2(3) \approx 1.585\) بت، ما يعطي كفاءة تقارب 94.64%.
الأسئلة الشائعة
لماذا وحدة البت؟ استخدام اللوغاريتم ذي الأساس 2 يعطي الإنتروبيا بوحدة البت، وهي الوحدة الطبيعية للمعلومات الرقمية. أما الأساس e فيعطي وحدة «النات» (nats)، والأساس 10 يعطي وحدة «الهارتلي» (hartleys).
هل يجب أن يكون مجموع الاحتمالات مساويًا 1؟ لا، فالحاسبة تطبّع أي قيم موجبة تلقائيًا، ما يتيح لك لصق التكرارات الخام مباشرة.
ما هي الإنتروبيا القصوى؟ لعدد \(n\) من النتائج متساوية الاحتمال تساوي \(\log_2(n)\). فالعملة المتوازنة (\(n=2\)) إنتروبيتها القصوى 1 بت، وحجر النرد المتوازن (\(n=6\)) نحو 2.585 بت.
