ما هي حاسبة TF-IDF؟
إن TF-IDF (اختصار لـ Term Frequency–Inverse Document Frequency، أي تكرار الكلمة مقابل التكرار العكسي للوثائق) مقياس إحصائي يُستخدم في استرجاع المعلومات ومحركات البحث والتنقيب في النصوص لتقدير مدى أهمية كلمة معينة داخل وثيقة واحدة ضمن مجموعة أكبر من الوثائق تُسمى "المتن" أو الـ corpus. تتيح لك هذه الحاسبة إدخال نص الوثيقة، والكلمة المستهدفة، وإجمالي عدد الوثائق في مجموعتك، وعدد الوثائق التي تحتوي على هذه الكلمة. ثم تحسب لك تكرار الكلمة (TF) والتكرار العكسي للوثائق (IDF) ودرجة TF-IDF المجمّعة.
كيفية الاستخدام
- النص: الصق نص الوثيقة التي تريد تحليلها.
- الكلمة: أدخل الكلمة أو العبارة المفردة التي ترغب في حساب درجتها.
- حجم المجموعة: إجمالي عدد الوثائق في مجموعتك (\(N\)).
- الوثائق التي تحتوي الكلمة: عدد الوثائق التي تظهر فيها الكلمة مرة واحدة على الأقل.
تحسب الأداة عدد مرات ظهور الكلمة في نصك ثم تقسمه على إجمالي عدد الكلمات، وتدمج النتيجة مع مدى ندرة الكلمة عبر مجموعة الوثائق بأكملها.
شرح المعادلة
معادلة TF-IDF القياسية هي:
$$\text{TF-IDF} = \text{TF} \times \text{IDF}$$- TF = (عدد مرات ظهور الكلمة في الوثيقة) ÷ (إجمالي الكلمات في الوثيقة)
- IDF = \(\log(N \div \text{عدد الوثائق التي تحتوي الكلمة})\)
- TF-IDF = \(\text{TF} \times \text{IDF}\)
تعني درجة TF-IDF المرتفعة أن الكلمة تتكرر كثيرًا داخل وثيقتك لكنها نادرة عبر بقية الوثائق — وهي إشارة قوية إلى أن الكلمة مميزة وذات دلالة خاصة لتلك الوثيقة.
مثال تطبيقي
لنفترض أن وثيقتك تتكوّن من 100 كلمة، وأن كلمة "تسويق" تظهر فيها 5 مرات. وتحتوي مجموعتك على 1,000 وثيقة، تذكر 100 منها كلمة "تسويق".
- $$\text{TF} = 5 \div 100 = 0.05$$
- $$\text{IDF} = \log(1000 \div 100) = \log(10) = 1 \quad(\text{للأساس }10)$$
- $$\text{TF-IDF} = 0.05 \times 1 = 0.05$$
أما لو ظهرت كلمة "تسويق" في 10 وثائق فقط، فإن قيمة IDF سترتفع إلى \(\log(100) = 2\)، وبذلك تتضاعف الدرجة إلى 0.10 — مكافأةً للكلمات الأندر والأكثر تميزًا.
الأسئلة الشائعة
لماذا نستخدم اللوغاريتم في حساب IDF؟ يخفّف اللوغاريتم من تأثير الكلمات شديدة الندرة، حتى لا يسيطر ظهورٌ واحد على الدرجة بأكملها، مما يحافظ على توازن النتائج.
أي أساس لوغاريتمي ينبغي أن أستخدم؟ كلٌّ من الأساس 10 واللوغاريتم الطبيعي (\(\ln\)) شائع الاستخدام. ولا يؤثر الأساس إلا في تحجيم النتائج بشكل موحّد، لذا تبقى المقارنات داخل المجموعة نفسها صحيحة.
ماذا تعني الدرجة صفر؟ إذا ظهرت الكلمة في كل وثيقة (\(N = \text{عدد الوثائق التي تحتوي الكلمة}\))، فإن IDF يصبح \(\log(1) = 0\)، وتغدو درجة TF-IDF صفرًا — أي أن الكلمة لا تحمل أي قيمة تمييزية.
