OpenAI टोकन काउंटर

OpenAI टोकन काउंटर

अग्रणी AI Skill PRO

गणना दर्ज करें

नीचे दिए विकल्पों में से कोई एक चुनें:

GPT-6 मॉडल सूची में नहीं हैं: OpenAI ने अभी तक tiktoken में उनका टोकनाइज़र प्रकाशित नहीं किया है।

टोकन गिनने का तरीक़ा:

सूत्र (फॉर्मूला)

टोकन=len(encodeएन्कोडिंग(टेक्स्ट))\text{टोकन} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{एन्कोडिंग}}\big(\text{टेक्स्ट}\big)\Big)
गणना के चरण दिखाएँ (1)
  1. OpenAI मॉडल के अनुसार टोकन

    टोकन=len(encodeenc(मॉडल)(टेक्स्ट))\text{टोकन} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{enc}(\text{मॉडल})}\big(\text{टेक्स्ट}\big)\Big)

    मॉडल अपनी एन्कोडिंग से मैप होता है, फिर टोकन संख्या = इनपुट टेक्स्ट को एन्कोड करने पर बने टोकन की संख्या।

उपयोग आँकड़े

विज्ञापन

परिणाम

टोकन संख्या
9
एन्कोडिंग: o200k_base · encode()
टोकन आँकड़े
स्टैंडर्ड टोकन संख्या 9 (HTML टैग को विशेष तरीक़े से संभालती है)
ऑर्डिनरी टोकन संख्या 9 (HTML को सादा टेक्स्ट मानती है)
अक्षरों की संख्या 37
शब्दों की संख्या 7
प्रति शब्द टोकन 1.29
एन्कोडिंग की जानकारी
एन्कोडिंग टाइप o200k_base
गिनने का तरीक़ा encode()
किस विकल्प से चुना एन्कोडिंग: o200k_base

इस पेज पर त्रुटि की रिपोर्ट करें

यह OpenAI टोकन काउंटर JTokkit v1.1.0 पर आधारित है — यह OpenAI की tiktoken लाइब्रेरी का ओपन-सोर्स Java रूपांतरण है।

Maven डिपेंडेंसी: com.knuddels:jtokkit:1.1.0

JTokkit को Knuddels GmbH बनाती और मेंटेन करती है, और यह MIT लाइसेंस के तहत उपलब्ध है।

तकनीकी क्रियान्वयन (Implementation)

यह टोकन काउंटर इस तरह बनाया गया है:

// Maven dependency
implementation 'com.knuddels:jtokkit:1.1.0'

// Token counting implementation
import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.ModelType;

// Usage example
EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
int tokenCount = encoding.countTokens(text);

JTokkit वही टोकनाइज़ेशन देती है जो OpenAI की आधिकारिक tiktoken लाइब्रेरी देती है, इसलिए यहाँ मिलने वाली टोकन संख्या सटीक रहती है।

OpenAI टोकन काउंटर: पूरी गाइड

टोकनाइज़ेशन क्या है?

टोकनाइज़ेशन का मतलब है टेक्स्ट को छोटे-छोटे टुकड़ों में बाँटना, जिन्हें टोकन कहते हैं। OpenAI के मॉडल टेक्स्ट को अक्षरों या शब्दों के रूप में नहीं, बल्कि टोकन के रूप में पढ़ते हैं। एक टोकन एक अक्षर जितना छोटा भी हो सकता है और पूरे शब्द जितना बड़ा भी (जैसे "a" या "apple")। आम शब्द अक्सर एक ही टोकन में आ जाते हैं, जबकि कम इस्तेमाल होने वाले शब्द कई टोकन में टूट सकते हैं।

टोकन की संख्या इस तरह निकलती है:

$$\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Text}\big)\Big)$$

ध्यान दें: हर मॉडल अलग टोकनाइज़र इस्तेमाल करता है, और आपकी टोकन संख्या सीधे इन बातों को प्रभावित करती है:

  • API की लागत (इनपुट और आउटपुट, दोनों का भुगतान प्रति टोकन होता है)
  • कॉन्टेक्स्ट विंडो का इस्तेमाल (हर मॉडल की एक अधिकतम टोकन सीमा होती है)
  • प्रोसेसिंग स्पीड (जितने ज़्यादा टोकन, उतना ज़्यादा समय)

एन्कोडिंग के प्रकार

JTokkit कई एन्कोडिंग टाइप देती है, जो OpenAI के टोकनाइज़र से पूरी तरह मेल खाते हैं:

एन्कोडिंग विवरण किन मॉडलों में
cl100k_base GPT-4, GPT-4 Turbo, GPT-3.5 Turbo और text-embedding-3 / ada-002 एम्बेडिंग मॉडल का टोकनाइज़र GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small/large, text-embedding-ada-002
p50k_base बेहतर शब्दावली, कोड के लिए ज़्यादा उपयुक्त GPT-3 davinci, curie, babbage, ada; Codex मॉडल
p50k_edit ख़ास तौर पर एडिट मॉडलों के लिए text-davinci-edit-001, code-davinci-edit-001
r50k_base मूल GPT-3 टोकनाइज़र, बुनियादी शब्दावली के साथ पुराने davinci, curie, babbage, ada मॉडल
o200k_base OpenAI के GPT-5, GPT-4.1, GPT-4o और o-सीरीज़ मॉडल का मौजूदा टोकनाइज़र (OpenAI के tiktoken के अनुसार) GPT-5, GPT-4.1, GPT-4o, GPT-4o-mini, o1, o3, o4-mini

मॉडल और उनकी कॉन्टेक्स्ट विंडो

हर OpenAI मॉडल की एक अधिकतम कॉन्टेक्स्ट विंडो होती है, यानी वह एक ही रिक्वेस्ट में कितने टोकन संभाल सकता है:

मॉडल अधिकतम टोकन एन्कोडिंग टाइप
gpt-5 272,000 o200k_base
gpt-4.1 1,047,576 o200k_base
gpt-4o 128,000 o200k_base
gpt-4o-mini 128,000 o200k_base
o3 200,000 o200k_base
o4-mini 200,000 o200k_base
o1 200,000 o200k_base
gpt-4-turbo 128,000 cl100k_base
gpt-4 8,192 cl100k_base
gpt-3.5-turbo 16,385 cl100k_base
text-embedding-3-large 8,191 cl100k_base
text-embedding-3-small 8,191 cl100k_base
text-embedding-ada-002 8,191 cl100k_base

टोकन गिनने के तरीक़े

यह कैलकुलेटर गिनती के दो तरीक़े देता है:

मेथड स्टैंडर्ड ऑर्डिनरी
encode() पूरी टोकनाइज़ेशन, जो टोकन ID लौटाती है और HTML को विशेष तरीक़े से संभालती है encodeOrdinary() HTML को सादे टेक्स्ट की तरह मानती है
countTokens() ऑप्टिमाइज़्ड मेथड, जो सिर्फ़ टोकन गिनती है और HTML को विशेष तरीक़े से संभालती है countTokensOrdinary() HTML को सादे टेक्स्ट की तरह मानती है

HTML का असर: अगर आपके टेक्स्ट में HTML है, तो स्टैंडर्ड मेथड टैग्स को पहचानकर अलग ढंग से प्रोसेस करती हैं, जबकि ऑर्डिनरी मेथड उन्हें साधारण टेक्स्ट मानती हैं। इसी वजह से दोनों की टोकन संख्या अलग-अलग आ सकती है। अगर आप चाहते हैं कि आपका HTML हूबहू वैसा ही रहे जैसा लिखा गया है, तो ऑर्डिनरी मेथड चुनें।

टोकन बचाने के काम के सुझाव

  • दोहराव वाला टेक्स्ट उतनी ही लंबाई के अनोखे टेक्स्ट से अक्सर कम टोकन लेता है
  • ख़ाली जगह (स्पेस, टैब, नई लाइन) भी टोकन में गिनी जाती है
  • विशेष चिह्न अलग-अलग टोकन बन सकते हैं, जिससे कुल संख्या बढ़ जाती है
  • आम शब्द दुर्लभ या तकनीकी शब्दों की तुलना में कम टोकन लेते हैं
  • ग़ैर-अंग्रेज़ी टेक्स्ट (जैसे हिंदी/देवनागरी) उसी अर्थ के अंग्रेज़ी टेक्स्ट से अक्सर ज़्यादा टोकन लेता है
  • कोड नए टोकनाइज़र (o200k_base, cl100k_base) के साथ ज़्यादा किफ़ायती तरीक़े से टोकनाइज़ होता है

कुछ आम उदाहरण

टेक्स्ट टोकन टिप्पणी
"Hello world" 2 आम शब्द अक्सर एक-एक टोकन में आ जाते हैं
"antidisestablishmentarianism" 5 लंबे शब्द कई टोकन में टूट जाते हैं
"こんにちは" 3 ग़ैर-लैटिन लिपियों को आमतौर पर ज़्यादा टोकन चाहिए
"1234567890" 3 अंक अक्सर कई हिस्सों में बँट जाते हैं
"<div>Hello</div>" 4-6 स्टैंडर्ड और ऑर्डिनरी मेथड में HTML टैग की गिनती अलग हो सकती है
विज्ञापन
इनपुट टेक्स्ट को रंगीन टोकन हिस्सों में बाँटकर गिनते हुए दिखाता आरेख
एन्कोडर टेक्स्ट को टोकन में बाँटता है, फिर उन टोकन को गिना जाता है।
अंतिम अपडेट:

विविध में सबसे लोकप्रिय

विविध के सभी कैलकुलेटर देखें