OpenAI Token Sayacı

OpenAI Token Sayacı

Popüler AI Skill PRO

Hesaplamaya Girin

Aşağıdaki seçeneklerden birini kullanın:

GPT-6 modelleri listede yok: OpenAI bu modellerin tokenizer'ını henüz tiktoken'da yayımlamadı.

Token sayma yöntemi:

Formül

Token=len(encodeEncoding(Metin))\text{Token} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Metin}\big)\Big)
Hesaplama adımlarını göster (1)
  1. OpenAI modeline göre token

    Token=len(encodeenc(Model)(Metin))\text{Token} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{enc}(\text{Model})}\big(\text{Metin}\big)\Big)

    Model kendi encoding'ine eşlenir, ardından Token sayısı = girdi metninin kodlanmasıyla elde edilen token adedi.

Kullanım istatistikleri

Reklam

Sonuç

Token Sayısı
9
Kodlama: o200k_base · encode()
Token İstatistikleri
Standart Token Sayısı 9 (HTML etiketlerini özel olarak işler)
Ordinary Token Sayısı 9 (HTML'i düz metin olarak işler)
Karakter Sayısı 37
Kelime Sayısı 7
Kelime Başına Token 1,29
Encoding Bilgileri
Encoding Türü o200k_base
Sayma Yöntemi encode()
Seçim Yöntemi Kodlama: o200k_base

Bu sayfadaki bir hatayı bildir

Bu OpenAI Token Sayacı, OpenAI'nin tiktoken kütüphanesinin açık kaynaklı Java uygulaması olan JTokkit v1.1.0 sürümünü kullanır.

Maven bağımlılığı: com.knuddels:jtokkit:1.1.0

JTokkit, Knuddels GmbH tarafından geliştirilip sürdürülmektedir ve MIT lisansı ile sunulmaktadır.

Teknik Ayrıntılar

Bu token sayacı şu şekilde hayata geçirildi:

// Maven dependency
implementation 'com.knuddels:jtokkit:1.1.0'

// Token counting implementation
import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.ModelType;

// Usage example
EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
int tokenCount = encoding.countTokens(text);

JTokkit, OpenAI'nin resmi tiktoken kütüphanesiyle birebir aynı tokenizasyonu uygular; dolayısıyla buradaki token sayıları gerçek kullanımla örtüşür.

OpenAI Token Sayacı Rehberi

Tokenizasyon nedir?

Tokenizasyon, metnin "token" adı verilen daha küçük parçalara bölünmesi işlemidir. OpenAI modelleri metni harf harf ya da kelime kelime değil, token'lar hâlinde işler. Bir token tek bir karakter kadar kısa olabileceği gibi bütün bir kelimeye de karşılık gelebilir (örneğin "a" ya da "apple"). Sık kullanılan kelimeler çoğunlukla tek token'dır; daha az rastlanan kelimeler ise birden fazla parçaya ayrılır.

Token sayısı şu şekilde ifade edilir:

$$\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Text}\big)\Big)$$

Önemli: Her model farklı bir tokenizer kullanır ve token sayısı doğrudan şunları etkiler:

  • API maliyeti (hem girdi hem çıktı için token başına ödeme yaparsınız)
  • Bağlam penceresi kullanımı (her modelin bir üst token sınırı vardır)
  • İşlem hızı (token sayısı arttıkça yanıt süresi uzar)

Encoding Türleri

JTokkit, OpenAI'nin tokenizer'larıyla eşleşen birkaç encoding türü sunar:

Kodlama Açıklama Kullanan modeller
cl100k_base GPT-4, GPT-4 Turbo, GPT-3.5 Turbo ile text-embedding-3 / ada-002 embedding modellerinin tokenizer'ı GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small/large, text-embedding-ada-002
p50k_base Kod işleme becerisi geliştirilmiş, sözlüğü genişletilmiş sürüm GPT-3 davinci, curie, babbage, ada; Codex modelleri
p50k_edit Düzenleme (edit) modelleri için özelleştirilmiş sürüm text-davinci-edit-001, code-davinci-edit-001
r50k_base Temel sözlüğe sahip ilk GPT-3 tokenizer'ı Eski davinci, curie, babbage, ada modelleri
o200k_base OpenAI'ın GPT-5, GPT-4.1, GPT-4o ve o serisi modellerinin güncel tokenizer'ı (OpenAI'ın tiktoken kütüphanesine göre) GPT-5, GPT-4.1, GPT-4o, GPT-4o-mini, o1, o3, o4-mini

Modeller ve Bağlam Pencereleri

Her OpenAI modelinin tek bir istekte işleyebileceği azami token sayısı, yani bir bağlam penceresi vardır:

Model Azami Token Encoding Türü
gpt-5 272.000 o200k_base
gpt-4.1 1.047.576 o200k_base
gpt-4o 128.000 o200k_base
gpt-4o-mini 128.000 o200k_base
o3 200.000 o200k_base
o4-mini 200.000 o200k_base
o1 200.000 o200k_base
gpt-4-turbo 128.000 cl100k_base
gpt-4 8.192 cl100k_base
gpt-3.5-turbo 16.385 cl100k_base
text-embedding-3-large 8.191 cl100k_base
text-embedding-3-small 8.191 cl100k_base
text-embedding-ada-002 8.191 cl100k_base

Token Sayma Yöntemleri

Bu hesaplayıcı iki farklı sayma yöntemi sunar:

Yöntem Standart Sıradan (Ordinary)
encode() HTML'i özel olarak ele alan, token ID'lerini de döndüren tam tokenizasyon encodeOrdinary() HTML'i düz metin gibi işler
countTokens() HTML'i özel olarak ele alan, yalnızca sayım yapan optimize edilmiş yöntem countTokensOrdinary() HTML'i düz metin gibi işler

HTML'in ele alınışı: Metniniz HTML içeriyorsa standart yöntemler etiketleri tanıyıp özel biçimde işler; "ordinary" yöntemler ise etiketleri sıradan metin olarak sayar. Bu fark, aynı metin için farklı token sonuçları doğurabilir. HTML'inizin yazdığınız hâliyle birebir korunmasını istiyorsanız "ordinary" yöntemleri tercih edin.

Token Sayımında Pratik İpuçları

  • Tekrar eden metinler, aynı uzunluktaki özgün metinlere göre genellikle daha az token harcar
  • Boşluklar (boşluk, sekme, satır sonu) da token olarak sayılır
  • Özel karakterler tek tek token'lanabilir ve toplam sayıyı yükseltir
  • Yaygın kelimeler, nadir ya da teknik terimlere kıyasla daha az token tüketir
  • İngilizce dışındaki metinler — Türkçe dâhil — aynı içeriğin İngilizcesine göre çoğu zaman daha fazla token harcar; Türkçedeki ekler ayrı parçalara bölündüğü için maliyet farkı ciddi olabilir
  • Kod, yeni tokenizer'larla (o200k_base, cl100k_base) çok daha verimli token'lanır

Sık Karşılaşılan Token Sayısı Örnekleri

Metin Token Not
"Hello world" 2 Yaygın kelimeler çoğunlukla tek token sayılır
"antidisestablishmentarianism" 5 Uzun kelimeler birden fazla parçaya bölünür
"こんにちは" 3 Latin alfabesi dışındaki karakterler daha fazla token gerektirir
"1234567890" 3 Sayılar genellikle birkaç parçaya bölünerek işlenir
"<div>Hello</div>" 4-6 HTML etiketleri standart ve ordinary yöntemlerde farklı sayılabilir
Reklam
Girilen metnin renkli token parçalarına ayrılıp sayıldığını gösteren şema
Metin, encoder tarafından token'lara ayrılır ve ardından bu token'lar sayılır.
Son güncelleme:

Çeşitli kategorisinde en popüler

Tüm Çeşitli hesap makinelerini gör