TF-IDF कैलकुलेटर क्या है?
TF-IDF (टर्म फ़्रीक्वेंसी–इनवर्स डॉक्यूमेंट फ़्रीक्वेंसी) एक संख्यात्मक माप है जिसका इस्तेमाल इन्फ़ॉर्मेशन रिट्रीवल, सर्च इंजन और टेक्स्ट माइनिंग में होता है। यह बताता है कि किसी बड़े दस्तावेज़ संग्रह (जिसे कॉर्पस कहते हैं) के भीतर एक खास दस्तावेज़ के लिए कोई शब्द कितना महत्वपूर्ण है। इस कैलकुलेटर में आप एक दस्तावेज़, एक लक्षित शब्द (टर्म), कॉर्पस में मौजूद दस्तावेज़ों की कुल संख्या, और उनमें से कितने दस्तावेज़ों में वह शब्द आता है — यह सब दर्ज कर सकते हैं। फिर यह टर्म फ़्रीक्वेंसी (TF), इनवर्स डॉक्यूमेंट फ़्रीक्वेंसी (IDF) और दोनों को मिलाकर बनने वाला TF-IDF स्कोर निकाल देता है।
इसका इस्तेमाल कैसे करें
- दस्तावेज़: जिस टेक्स्ट का विश्लेषण करना है, उसे यहाँ पेस्ट करें।
- टर्म: जिस एक शब्द या वाक्यांश का स्कोर निकालना है, उसे दर्ज करें।
- कॉर्पस आकार: आपके संग्रह में मौजूद दस्तावेज़ों की कुल संख्या (\(N\))।
- टर्म वाले दस्तावेज़: कितने दस्तावेज़ों में वह शब्द कम-से-कम एक बार आता है।
कैलकुलेटर पहले गिनता है कि वह शब्द आपके दस्तावेज़ में कितनी बार आता है, फिर इसे कुल शब्दों की संख्या से भाग देता है, और अंत में इसे पूरे कॉर्पस में उस शब्द की दुर्लभता के साथ जोड़ देता है।
फ़ॉर्मूला समझें
मानक TF-IDF फ़ॉर्मूला इस प्रकार है:
- TF \(= \dfrac{\text{दस्तावेज़ में शब्द कितनी बार आया}}{\text{दस्तावेज़ में कुल शब्द}}\)
- IDF \(= \log\!\left(\dfrac{N}{\text{शब्द वाले दस्तावेज़ों की संख्या}}\right)\)
- TF-IDF \(= \text{TF} \times \text{IDF}\)
$$\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{where}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{count of }\text{Term}\text{ in }\text{Document}}{\text{total words in }\text{Document}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{Corpus Size}}{\text{Docs with Term} + 1}\right) \end{aligned} \right. \end{gathered}$$
ऊँचा TF-IDF स्कोर इसका संकेत है कि शब्द आपके दस्तावेज़ में बार-बार आता है पर पूरे कॉर्पस में कम — यानी वह शब्द उस दस्तावेज़ के लिए विशिष्ट और अर्थपूर्ण है।
हल किया गया उदाहरण
मान लीजिए आपके दस्तावेज़ में 100 शब्द हैं और "marketing" शब्द 5 बार आता है। आपके कॉर्पस में 1,000 दस्तावेज़ हैं, जिनमें से 100 में "marketing" का ज़िक्र है।
- $$\text{TF} = \frac{5}{100} = 0.05$$
- $$\text{IDF} = \log\!\left(\frac{1000}{100}\right) = \log(10) = 1 \quad (\text{आधार } 10)$$
- $$\text{TF-IDF} = 0.05 \times 1 = 0.05$$
अगर "marketing" सिर्फ़ 10 दस्तावेज़ों में आता, तो IDF बढ़कर \(\log(100) = 2\) हो जाता, और स्कोर दोगुना होकर 0.10 हो जाता — यानी दुर्लभ और ज़्यादा विशिष्ट शब्दों को ज़्यादा महत्व मिलता है।
अक्सर पूछे जाने वाले सवाल
IDF में लघुगणक (log) का इस्तेमाल क्यों? log बेहद दुर्लभ शब्दों के असर को नरम कर देता है, ताकि कोई एक ही बार आया शब्द पूरे स्कोर पर हावी न हो जाए और नतीजे संतुलित रहें।
कौन-सा log आधार इस्तेमाल करूँ? आधार 10 और प्राकृतिक लघुगणक (\(\ln\)) — दोनों आम हैं। आधार बदलने से सभी नतीजे एक समान अनुपात में बढ़ते-घटते हैं, इसलिए एक ही कॉर्पस के भीतर तुलना हमेशा सही रहती है।
शून्य स्कोर का क्या मतलब है? अगर कोई शब्द हर दस्तावेज़ में आता है (\(N = \) शब्द वाले दस्तावेज़), तो \(\text{IDF} = \log(1) = 0\) हो जाता है, जिससे TF-IDF स्कोर भी शून्य हो जाता है — यानी वह शब्द दस्तावेज़ों को अलग पहचानने में कोई काम का नहीं रहता।
