Token-Kelime Çevirici nedir?
GPT, Claude ve Gemini gibi büyük dil modelleri (LLM'ler) metni kelime kelime okumaz — onu token'lar hâlinde işler. Token, bir metnin bütün bir kelime, kelimenin bir parçası ya da noktalama işareti olabilen küçük bir parçasıdır. Tipik İngilizce metinlerde bir token yaklaşık 0,75 kelimeye karşılık gelir (yani kelime başına yaklaşık 1,33 token). Bu araç, bir token sayısını tahmini kelime sayısına ya da kelime sayısını harcayacağı tahmini token miktarına çevirir.
Nasıl Kullanılır?
Önce bir yön seçin — Token'dan Kelimeye veya Kelimeden Token'a — değerinizi girin ve isterseniz token başına kelime oranını (varsayılan 0,75) ayarlayın. Araç, çevrilen değeri ve kullanılan oranı anında gösterir. Genellikle daha fazla token kullanan kod veya İngilizce dışı metinler için oranı düşürün; basit ve tekrarlı İngilizce metinler için ise yükseltin.
Formül Açıklaması
Çevrim basit bir orantıdır. Token'dan kelime tahmini için: $$\text{kelime} = \text{token} \times \text{oran}$$ Kelimeden token tahmini için: $$\text{token} = \frac{\text{kelime}}{\text{oran}}$$ Varsayılan 0,75 oranıyla 1.000 token ≈ 750 kelime, 1.000 kelime ise ≈ 1.333 token eder. Bunlar tahmini değerlerdir: gerçek tokenleştirme modele, dile ve içeriğe göre değişir.
Örnek Hesaplama
Diyelim ki bir API çağrısı 1.000 token kullandığını bildiriyor. Varsayılan oranla: $$1000 \times 0{,}75 = 750 \text{ kelime}$$ Bunun yerine 1.500 kelimelik bir yazı yazdıysanız ve token maliyetini merak ediyorsanız: $$1500 \div 0{,}75 = 2000 \text{ token}$$ — bu, bir modelin bağlam penceresi (context window) içinde kalmak veya API harcamanızı bütçelemek için oldukça işe yarar.
Sıkça Sorulan Sorular
Token başına 0,75 kelime her zaman doğru mu? Hayır — bu, İngilizce için yaygın olarak kullanılan bir pratik kuraldır. Kod, sayılar ve diğer diller çoğu zaman kelime başına daha fazla token harcadığından, bunlarda daha düşük bir oran kullanın.
Token'lar neden önemli? LLM fiyatlandırması ve bağlam sınırları kelimeyle değil token'la ölçülür; bu yüzden çevrim yapmak maliyeti ve sığma durumunu tahmin etmenize yardımcı olur.
Kesin sayıyı nasıl bulurum? Modelin resmi tokenleştiricisini kullanın (örneğin OpenAI için tiktoken). Bu araç hızlı bir yaklaşım sunar, kesin bir sayı değil.
