टोकन से वर्ड कैलकुलेटर क्या है?
GPT, Claude और Gemini जैसे बड़े लैंग्वेज मॉडल (LLM) टेक्स्ट को शब्द-दर-शब्द नहीं पढ़ते — वे उसे टोकन में प्रोसेस करते हैं। टोकन टेक्स्ट का एक टुकड़ा होता है, जो एक पूरा शब्द, किसी शब्द का हिस्सा या यहाँ तक कि विराम-चिह्न भी हो सकता है। आम अंग्रेज़ी टेक्स्ट के लिए एक टोकन लगभग 0.75 शब्दों के बराबर होता है (यानी प्रति शब्द करीब 1.33 टोकन)। यह कैलकुलेटर टोकन की संख्या को अनुमानित शब्द-संख्या में, या शब्द-संख्या को संभावित टोकन खर्च में बदल देता है।
इसका इस्तेमाल कैसे करें
पहले दिशा चुनें — टोकन से वर्ड या वर्ड से टोकन — फिर अपनी संख्या डालें, और चाहें तो वर्ड-प्रति-टोकन अनुपात (डिफ़ॉल्ट 0.75) को अपने हिसाब से बदल लें। टूल तुरंत बदला हुआ आँकड़ा और इस्तेमाल किया गया अनुपात दिखा देता है। कोड या गैर-अंग्रेज़ी टेक्स्ट के लिए (जिसमें आमतौर पर ज़्यादा टोकन लगते हैं) अनुपात घटाएँ, और सरल, दोहराव वाली अंग्रेज़ी के लिए इसे बढ़ा दें।
फ़ॉर्मूला समझें
यह कन्वर्ज़न एक सीधा अनुपात है। टोकन से शब्दों का अनुमान लगाने के लिए: $$\text{Words} = \text{Tokens} \times \text{Words per Token}$$ शब्दों से टोकन का अनुमान लगाने के लिए: $$\text{Tokens} = \frac{\text{Words}}{\text{Words per Token}}$$ डिफ़ॉल्ट अनुपात 0.75 के साथ, 1,000 टोकन ≈ 750 शब्द, और 1,000 शब्द ≈ 1,333 टोकन। ये सिर्फ़ अनुमान हैं: असल टोकनाइज़ेशन मॉडल, भाषा और कंटेंट पर निर्भर करता है।
उदाहरण के साथ समझें
मान लीजिए किसी API कॉल में बताया गया कि उसने 1,000 टोकन इस्तेमाल किए। डिफ़ॉल्ट अनुपात से: $$1000 \times 0.75 = 750 \text{ शब्द}$$ वहीं अगर आपने 1,500 शब्दों का निबंध लिखा है और जानना चाहते हैं कि इसमें कितने टोकन लगेंगे: $$1500 \div 0.75 = 2{,}000 \text{ टोकन}$$ — यह मॉडल की कॉन्टेक्स्ट विंडो के अंदर रहने या API खर्च का बजट बनाने में मदद करता है।
अक्सर पूछे जाने वाले सवाल
क्या प्रति टोकन 0.75 शब्द हमेशा सटीक होता है? नहीं — यह अंग्रेज़ी के लिए एक मोटा-मोटी अनुमान वाला नियम है। कोड, संख्याएँ और दूसरी भाषाओं में अक्सर प्रति शब्द ज़्यादा टोकन लगते हैं, इसलिए उनके लिए कम अनुपात रखें।
टोकन क्यों मायने रखते हैं? LLM की कीमत और कॉन्टेक्स्ट लिमिट शब्दों में नहीं, टोकन में मापी जाती है, इसलिए कन्वर्ट करने से लागत और फ़िट का अंदाज़ा लगाने में आसानी होती है।
सटीक गिनती कैसे पाऊँ? मॉडल का आधिकारिक टोकनाइज़र इस्तेमाल करें (जैसे OpenAI के लिए tiktoken)। यह कैलकुलेटर एक तेज़ अनुमान देता है, सटीक गिनती नहीं।
