Счётчик токенов OpenAI

Счётчик токенов OpenAI

Популярный AI Skill PRO

Введите расчет

Выберите один из вариантов:

Моделей GPT-6 нет в списке: OpenAI пока не опубликовала их токенизатор в tiktoken.

Метод подсчёта токенов:

Математическая формула

Токены=len(encodeКодировка(Текст))\text{Токены} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Кодировка}}\big(\text{Текст}\big)\Big)
Показать шаги расчёта (1)
  1. Токены по модели OpenAI

    Токены=len(encodeenc(Модель)(Текст))\text{Токены} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{enc}(\text{Модель})}\big(\text{Текст}\big)\Big)

    Модель сопоставляется со своей кодировкой, затем число токенов = количество токенов, получаемых при кодировании входного текста.

Статистика использования

Реклама

Результаты

Количество токенов
9
Кодировка: o200k_base · encode()
Статистика по токенам
Стандартный подсчёт 9 (HTML-теги обрабатываются отдельно)
Обычный подсчёт 9 (HTML считается обычным текстом)
Количество символов 37
Количество слов 7
Токенов на слово 1,29
Сведения о кодировке
Тип кодировки o200k_base
Метод подсчёта encode()
Способ выбора Кодировка: o200k_base

Сообщить об ошибке на этой странице

Этот счётчик токенов OpenAI работает на библиотеке JTokkit v1.1.0 — открытой Java-реализации токенизатора tiktoken от OpenAI.

Зависимость Maven: com.knuddels:jtokkit:1.1.0

JTokkit разрабатывает и поддерживает компания Knuddels GmbH; библиотека распространяется по лицензии MIT.

Как это устроено внутри

Подсчёт токенов реализован так:

// Зависимость Maven
implementation 'com.knuddels:jtokkit:1.1.0'

// Реализация подсчёта токенов
import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.ModelType;

// Пример использования
EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
int tokenCount = encoding.countTokens(text);

JTokkit разбивает текст на токены точно так же, как официальная библиотека tiktoken от OpenAI, поэтому результаты подсчёта совпадают с реальным биллингом API.

Руководство по подсчёту токенов OpenAI

Что такое токенизация?

Токенизация — это разбиение текста на небольшие фрагменты, которые называются токенами. Модели OpenAI работают именно с токенами, а не с отдельными символами или словами. Токен может быть длиной в один символ, а может совпадать с целым словом (например, «a» или «apple»). Частотные слова обычно укладываются в один токен, а редкие разбиваются на несколько частей.

Количество токенов вычисляется так:

$$\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Text}\big)\Big)$$

Важно: у разных моделей разные токенизаторы, и число токенов напрямую влияет на:

  • стоимость запросов к API (оплата идёт за токены и на входе, и на выходе — тарифы OpenAI указаны в долларах США);
  • заполнение контекстного окна (у каждой модели есть жёсткий лимит токенов);
  • скорость обработки (чем больше токенов, тем дольше ответ).

Типы кодировок

JTokkit поддерживает несколько кодировок, полностью соответствующих токенизаторам OpenAI:

Кодировка Описание Где применяется
cl100k_base Токенизатор GPT-4, GPT-4 Turbo, GPT-3.5 Turbo и моделей эмбеддингов text-embedding-3 / ada-002 GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small/large, text-embedding-ada-002
p50k_base Расширенный словарь, более аккуратная разбивка исходного кода GPT-3 davinci, curie, babbage, ada; модели Codex
p50k_edit Специальная кодировка для моделей редактирования текста text-davinci-edit-001, code-davinci-edit-001
r50k_base Исходный токенизатор GPT-3 с базовым словарём Старые модели davinci, curie, babbage, ada
o200k_base Актуальный токенизатор моделей OpenAI GPT-5, GPT-4.1, GPT-4o и серии o (по данным tiktoken от OpenAI) GPT-5, GPT-4.1, GPT-4o, GPT-4o-mini, o1, o3, o4-mini

Модели и контекстные окна

У каждой модели OpenAI есть максимальное контекстное окно — предельное число токенов, которое она может обработать за один запрос:

Модель Максимум токенов Кодировка
gpt-4 8 192 cl100k_base
gpt-4-32k 32 768 cl100k_base
gpt-4-turbo 128 000 cl100k_base
gpt-4o 128 000 o200k_base
gpt-4o-mini 128 000 o200k_base
gpt-3.5-turbo 4 096 cl100k_base
gpt-3.5-turbo-16k 16 384 cl100k_base
text-embedding-ada-002 8 191 cl100k_base
text-davinci-003 4 097 p50k_base
code-davinci-002 8 001 p50k_base
davinci 2 049 r50k_base

Полный список моделей, доступных в калькуляторе, вы найдёте в выпадающем списке выше — кодировка подставляется автоматически.

Методы подсчёта токенов

Калькулятор предлагает два способа подсчёта:

Метод Стандартный Обычный (ordinary)
encode() Полная токенизация: возвращает идентификаторы токенов и особым образом обрабатывает HTML encodeOrdinary() считает HTML обычным текстом
countTokens() Оптимизированный метод: только считает токены, HTML обрабатывается особым образом countTokensOrdinary() считает HTML обычным текстом

Что происходит с HTML: если в тексте есть разметка, стандартные методы распознают теги и обрабатывают их отдельно, а «обычные» методы воспринимают их как рядовые символы. Из-за этого итоговые числа могут отличаться. Выбирайте обычные методы, когда нужно, чтобы HTML попал в модель ровно в том виде, в каком вы его написали.

Советы по экономии токенов

  • Повторяющийся текст обычно расходует меньше токенов, чем уникальный текст той же длины;
  • пробельные символы (пробелы, табуляции, переводы строк) тоже считаются токенами;
  • спецсимволы нередко токенизируются поштучно и раздувают счёт;
  • частотные слова дешевле редких и узкоспециальных терминов;
  • тексты не на английском — в том числе русские — обычно требуют заметно больше токенов, чем такой же текст по-английски;
  • исходный код экономно разбивается новыми токенизаторами (o200k_base, cl100k_base).

Типичные примеры подсчёта

Текст Токенов Комментарий
«Hello world» 2 Частотные слова укладываются в один токен
«antidisestablishmentarianism» 5 Длинные слова дробятся на несколько токенов
«こんにちは» 3 Нелатинские символы требуют больше токенов
«1234567890» 3 Числа режутся на группы цифр
«<div>Hello</div>» 4–6 HTML-теги считаются по-разному в стандартном и обычном режимах
Реклама
Схема: исходный текст делится на цветные фрагменты-токены, которые затем подсчитываются
Кодировщик разбивает текст на токены, после чего токены подсчитываются.
Последнее обновление:

Самые популярные в разделе Разное

Все калькуляторы раздела Разное