LLM Token-Kelime Hesaplama Aracı

LLM Token-Kelime Hesaplama Aracı

Lider AI Skill PRO

Hesaplamaya Girin

Formül

Kelime=Token×Token başına kelime\text{Kelime} = \text{Token} \times \text{Token başına kelime}

Örnek

Kelime=1000×0.75=750\text{Kelime} = 1000 \times 0.75 = 750
Kullanım istatistikleri

Reklam

Sonuç

Tahmini Kelime Sayısı
750
kelime
Token 1.000
Token başına kelime 0,75

Bu sayfadaki bir hatayı bildir

Token-Kelime Çevirici nedir?

GPT, Claude ve Gemini gibi büyük dil modelleri (LLM'ler) metni kelime kelime okumaz — onu token'lar hâlinde işler. Token, bir metnin bütün bir kelime, kelimenin bir parçası ya da noktalama işareti olabilen küçük bir parçasıdır. Tipik İngilizce metinlerde bir token yaklaşık 0,75 kelimeye karşılık gelir (yani kelime başına yaklaşık 1,33 token). Bu araç, bir token sayısını tahmini kelime sayısına ya da kelime sayısını harcayacağı tahmini token miktarına çevirir.

Nasıl Kullanılır?

Önce bir yön seçin — Token'dan Kelimeye veya Kelimeden Token'a — değerinizi girin ve isterseniz token başına kelime oranını (varsayılan 0,75) ayarlayın. Araç, çevrilen değeri ve kullanılan oranı anında gösterir. Genellikle daha fazla token kullanan kod veya İngilizce dışı metinler için oranı düşürün; basit ve tekrarlı İngilizce metinler için ise yükseltin.

0,75 ve 1,33 katsayılarıyla token ile sözcük arasındaki dönüşüm okları
Sözcük için token'ı 0,75 ile çarpın; tersine çevirmek için bölün (ya da ~1,33 ile çarpın).

Formül Açıklaması

Çevrim basit bir orantıdır. Token'dan kelime tahmini için: $$\text{kelime} = \text{token} \times \text{oran}$$ Kelimeden token tahmini için: $$\text{token} = \frac{\text{kelime}}{\text{oran}}$$ Varsayılan 0,75 oranıyla 1.000 token ≈ 750 kelime, 1.000 kelime ise ≈ 1.333 token eder. Bunlar tahmini değerlerdir: gerçek tokenleştirme modele, dile ve içeriğe göre değişir.

Reklam

Örnek Hesaplama

Diyelim ki bir API çağrısı 1.000 token kullandığını bildiriyor. Varsayılan oranla: $$1000 \times 0{,}75 = 750 \text{ kelime}$$ Bunun yerine 1.500 kelimelik bir yazı yazdıysanız ve token maliyetini merak ediyorsanız: $$1500 \div 0{,}75 = 2000 \text{ token}$$ — bu, bir modelin bağlam penceresi (context window) içinde kalmak veya API harcamanızı bütçelemek için oldukça işe yarar.

Bir metin parçasının token'lara bölünüp sözcüklerle eşleştiğini gösteren şema
Token'lar alt sözcük parçalarıdır; bu yüzden bir sözcük çoğu zaman birden fazla token'a yayılır.

Yaygın Belirteç-Kelime Dönüşümleri

Aşağıdaki tablo, belirteç başına yaklaşık 0,75 kelime (yaklaşık her belirteç için 4 İngilizce karakter) yaygın pratik kuralını kullanır; buna göre \(\text{Kelimeler} = \text{Belirteçler} \times 0{,}75\). Sayfalar, tek aralıklı sayfa başına yaklaşık 500 kelime varsayılarak hesaplanır. Tüm değerler tahminidir; gerçek sayılar belirteçleyiciye, dile ve içeriğe bağlı olarak değişir.

Belirteçler Yaklaşık kelime (×0,75) Yaklaşık sayfa (sayfa başına ~500 kelime)
100 75 0,15
500 375 0,75
1,000 750 1,5
4,000 3,000 6
8,000 6,000 12
32,000 24,000 48
128,000 96,000 192
200,000 150,000 300

Tersi yönde hesaplamak için kelime sayısını orana bölün: \(\text{Belirteçler} = \text{Kelimeler} \div 0{,}75\). Örneğin, 1.500 kelime ≈ \(1500 \div 0.75 = 2000\) belirteçtir.

İçerik Türüne Göre Belirteç Başına Kelime

Farklı metin türleri belirteçlere farklı şekilde ayrılır. Aşağıdaki oranlar kaba pratik kurallardır ve belirteçleyiciye ve modele göre değişir; bu nedenle sonuçları tahmin olarak değerlendirin ve kesinlik önemli olduğunda sağlayıcınızın resmi belirteçleyicisini kullanın.

İçerik türü Tipik belirteç başına kelime (yaklaşık) 1.000 belirteçteki kelime (yaklaşık)
Düz İngilizce metin ~0,75 ~750
Teknik veya hukuki İngilizce ~0,65–0,70 ~650–700
Kaynak kodu ~0,5–0,6 ~500–600
İngilizce olmayan veya Latin olmayan alfabeler ~0,3–0,5 ~300–500
Sayı ve özel karakter yoğun metin Genellikle ~0,5’in altında (büyük değişkenlik) Genellikle ~500’ün altında

Farklar neden var? Yaygın İngilizce kelimeler çoğu zaman tek bir belirteçtir; oysa nadir kelimeler, uzun teknik terimler, semboller, rakamlar ve birçok Latin olmayan karakter birkaç daha küçük parçaya bölünür. Kod ayrıca boşlukları, noktalama işaretlerini ve sembolleri de sayar; bu da belirteç başına kelime sayısını azaltır. Hesaplayıcıda, içerik türünüze uyması için oran alanını değiştirin.

Reklam

Temel Terimler: Belirteçler, Bağlam Penceresi ve Belirteçleyici

Belirteç
Bir dil modelinin okuduğu ve yazdığı temel metin birimi. Bir belirteç tam bir kelime, bir kelimenin parçası, bir noktalama işareti veya boşluk artı kelimeden oluşan bir parça olabilir.
Belirteçleyici
Metni bir belirteç dizisine (ve tersine) dönüştüren bileşen. Her model ailesi kendi belirteçleyicisini ve kelime dağarcığını kullandığından, aynı metin farklı belirteç sayıları üretebilir.
Bayt çifti kodlaması (BPE)
Küçük birimlerden (bayt veya karakter gibi) başlayan ve en sık görülen bitişik çiftleri tekrar tekrar birleştirerek daha büyük belirteçler oluşturan yaygın bir belirteçleme yöntemi. Bu yöntem, yaygın kelimelerin tek belirteç olduğu, nadir kelimelerin ise parçalara bölündüğü bir kelime dağarcığı oluşturur.
Bağlam penceresi
Bir modelin tek bir istekte işleyebildiği en fazla belirteç sayısı; genellikle istem, varsa konuşma geçmişi ve üretilen yanıtın birlikte toplamını kapsar.
Girdi ve çıktı belirteçleri
Girdi belirteçleri modele gönderdiğiniz belirteçlerdir (istem, belgeler, geçmiş); çıktı belirteçleri ise modelin ürettiği belirteçlerdir. Sağlayıcılar bunları genellikle ayrı sayar ve farklı fiyatlandırabilir veya sınırlayabilir.
Belirteç başına kelime oranı
Bir belirteçle temsil edilen ortalama kelime sayısı. İngilizce düz metin için yaklaşık 0,75 yaygın bir pratik kuraldır (yaklaşık 1 belirteç ≈ 4 karakter), ancak bu dile ve içerik türüne göre değişen bir yaklaşımdır.

Sıkça Sorulan Sorular

Token başına 0,75 kelime her zaman doğru mu? Hayır — bu, İngilizce için yaygın olarak kullanılan bir pratik kuraldır. Kod, sayılar ve diğer diller çoğu zaman kelime başına daha fazla token harcadığından, bunlarda daha düşük bir oran kullanın.

Token'lar neden önemli? LLM fiyatlandırması ve bağlam sınırları kelimeyle değil token'la ölçülür; bu yüzden çevrim yapmak maliyeti ve sığma durumunu tahmin etmenize yardımcı olur.

Kesin sayıyı nasıl bulurum? Modelin resmi tokenleştiricisini kullanın (örneğin OpenAI için tiktoken). Bu araç hızlı bir yaklaşım sunar, kesin bir sayı değil.

Son güncelleme:

Dijital Yaşam kategorisinde en popüler

Tüm Dijital Yaşam hesap makinelerini gör