Что такое калькулятор перевода токенов в слова?
Большие языковые модели (LLM) — такие как GPT, Claude и Gemini — читают текст не по словам, а разбивают его на токены. Токен — это фрагмент текста: им может быть целое слово, часть слова или даже знак препинания. Для обычного текста на английском один токен соответствует примерно 0,75 слова (то есть около 1,33 токена на одно слово). Этот калькулятор переводит число токенов в приблизительное количество слов — или наоборот, показывает, сколько токенов «съест» заданное число слов. Учтите: для русского текста токенов на слово обычно требуется больше, чем для английского, поэтому коэффициент стоит снизить.
Как пользоваться
Выберите направление перевода — из токенов в слова или из слов в токены, — введите нужное значение и при желании измените коэффициент слов на токен (по умолчанию 0,75). Калькулятор сразу покажет результат и использованный коэффициент. Снижайте его для кода или текста не на английском (там токенов уходит больше), а повышайте — для простого, повторяющегося английского текста.
Разбор формулы
Перевод строится на простой пропорции. Чтобы оценить количество слов по токенам:
$$\text{слова} = \text{токены} \times \text{коэффициент}$$Чтобы оценить токены по словам:
$$\text{токены} = \frac{\text{слова}}{\text{коэффициент}}$$При коэффициенте 0,75 по умолчанию 1000 токенов ≈ 750 слов, а 1000 слов ≈ 1333 токена. Это лишь оценка: реальная токенизация зависит от модели, языка и содержания текста.
Пример расчёта
Допустим, после запроса к API вы видите, что было израсходовано 1000 токенов. По коэффициенту по умолчанию:
$$1000 \times 0{,}75 = 750 \text{ слов}$$А если вы написали эссе на 1500 слов и хотите узнать, во сколько токенов оно обойдётся:
$$1500 \div 0{,}75 = 2000 \text{ токенов}$$Это удобно, чтобы не выйти за пределы контекстного окна модели и спланировать расходы на API.
Частые вопросы
Всегда ли точны 0,75 слова на токен? Нет — это распространённое эмпирическое правило для английского языка. Код, числа и другие языки (в том числе русский) часто требуют больше токенов на слово, поэтому для них лучше брать меньший коэффициент.
Почему токены так важны? Стоимость использования LLM и лимиты контекста измеряются в токенах, а не в словах, поэтому перевод помогает прикинуть и затраты, и объём.
Как получить точное число? Воспользуйтесь официальным токенизатором модели (например, tiktoken для OpenAI). Этот калькулятор даёт быструю приблизительную оценку, а не точный подсчёт.
