Contador de tokens de OpenAI

Contador de tokens de OpenAI

Popular AI Skill PRO

Ingresar cálculo

Elige una de estas opciones:

Los modelos GPT-6 no aparecen en la lista: OpenAI todavía no ha publicado su tokenizador en tiktoken.

Método de recuento de tokens:

Fórmula

Tokens=len(encodeCodificación(Texto))\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Codificación}}\big(\text{Texto}\big)\Big)
Ver los pasos del cálculo (1)
  1. Tokens por modelo de OpenAI

    Tokens=len(encodecod(Modelo)(Texto))\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{cod}(\text{Modelo})}\big(\text{Texto}\big)\Big)

    El modelo se asocia a su codificación y luego Número de tokens = cantidad de tokens que resultan de codificar el texto de entrada.

Estadísticas de uso

Publicidad

Resultados

Total de tokens
9
Codificación: o200k_base · encode()
Estadísticas de tokens
Recuento estándar de tokens 9 (trata las etiquetas HTML de forma especial)
Recuento ordinario de tokens 9 (trata el HTML como texto plano)
Número de caracteres 37
Número de palabras 7
Tokens por palabra 1,29
Información de la codificación
Tipo de codificación o200k_base
Método de recuento encode()
Seleccionado mediante Codificación: o200k_base

Informar de un error en esta página

Este contador de tokens de OpenAI funciona con JTokkit v1.1.0, una implementación en Java de código abierto del tiktoken de OpenAI.

Dependencia de Maven: com.knuddels:jtokkit:1.1.0

JTokkit está desarrollado y mantenido por Knuddels GmbH y se distribuye bajo licencia MIT.

Detalles de la implementación

Así está construido este contador de tokens:

// Maven dependency
implementation 'com.knuddels:jtokkit:1.1.0'

// Token counting implementation
import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.ModelType;

// Usage example
EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
int tokenCount = encoding.countTokens(text);

JTokkit aplica exactamente la misma tokenización que la biblioteca oficial tiktoken de OpenAI, de modo que el recuento de tokens es fiable.

Guía del contador de tokens de OpenAI

¿Qué es la tokenización?

Tokenizar consiste en dividir un texto en unidades más pequeñas llamadas tokens. Los modelos de OpenAI no procesan letras ni palabras sueltas, sino tokens. Un token puede ser tan corto como un solo carácter o tan largo como una palabra completa (por ejemplo, «a» o «casa»). Las palabras frecuentes suelen ocupar un único token, mientras que las poco habituales se parten en varios.

El número de tokens se obtiene así:

$$\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Texto}\big)\Big)$$

Importante: cada modelo usa un tokenizador distinto, y el recuento de tokens repercute directamente en:

  • El coste de la API (se paga por token, tanto de entrada como de salida)
  • El uso de la ventana de contexto (todos los modelos tienen un límite máximo de tokens)
  • La velocidad de respuesta (cuantos más tokens, más tarda el procesamiento)

Tipos de codificación

JTokkit incluye varias codificaciones que se corresponden con los tokenizadores de OpenAI:

Codificación Descripción Modelos que la usan
cl100k_base Tokenizador de GPT-4, GPT-4 Turbo, GPT-3.5 Turbo y de los modelos de embeddings text-embedding-3 / ada-002 GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small/large, text-embedding-ada-002
p50k_base Vocabulario ampliado que gestiona mejor el código fuente GPT-3 davinci, curie, babbage, ada; modelos Codex
p50k_edit Especializado en los modelos de edición text-davinci-edit-001, code-davinci-edit-001
r50k_base Tokenizador original de GPT-3, con vocabulario básico Modelos antiguos davinci, curie, babbage y ada
o200k_base Tokenizador actual de los modelos GPT-5, GPT-4.1, GPT-4o y de la serie o de OpenAI (según tiktoken de OpenAI) GPT-5, GPT-4.1, GPT-4o, GPT-4o-mini, o1, o3, o4-mini

Modelos y ventanas de contexto

Cada modelo de OpenAI tiene una ventana de contexto máxima, es decir, el número de tokens que puede procesar en una sola petición:

Modelo Tokens máx. Tipo de codificación
gpt-5 272.000 o200k_base
gpt-4.1 1.047.576 o200k_base
gpt-4o 128.000 o200k_base
gpt-4o-mini 128.000 o200k_base
o3 200.000 o200k_base
o4-mini 200.000 o200k_base
o1 200.000 o200k_base
gpt-4-turbo 128.000 cl100k_base
gpt-4 8.192 cl100k_base
gpt-3.5-turbo 16.385 cl100k_base
text-embedding-3-large 8.191 cl100k_base
text-embedding-3-small 8.191 cl100k_base
text-embedding-ada-002 8.191 cl100k_base

Métodos de recuento de tokens

Esta calculadora ofrece dos formas de contar:

Método Estándar Ordinario
encode() Tokenización completa que devuelve los identificadores de token y trata el HTML de forma especial encodeOrdinary() trata el HTML como texto plano
countTokens() Método optimizado que solo cuenta tokens y trata el HTML de forma especial countTokensOrdinary() trata el HTML como texto plano

Tratamiento del HTML: si tu texto contiene HTML, los métodos estándar reconocen las etiquetas y las procesan de forma especial, mientras que los métodos ordinarios las consideran texto corriente. Por eso el resultado puede variar de un método a otro. Usa los métodos ordinarios cuando quieras que el HTML se conserve exactamente tal y como lo escribiste.

Consejos para contar tokens

  • El texto repetitivo suele consumir menos tokens que un texto irrepetible de la misma longitud
  • Los espacios en blanco (espacios, tabulaciones y saltos de línea) también cuentan como tokens
  • Los caracteres especiales pueden tokenizarse de uno en uno y disparar el recuento
  • Las palabras frecuentes gastan menos tokens que los términos raros o muy técnicos
  • El texto en español y otros idiomas distintos del inglés suele consumir más tokens que el equivalente en inglés (los acentos y la eñe se parten a menudo en varios tokens)
  • El código fuente se tokeniza de forma bastante eficiente con los tokenizadores más recientes (o200k_base, cl100k_base)

Ejemplos habituales de recuento

Texto Tokens Observación
"Hello world" 2 Las palabras frecuentes suelen ocupar un solo token
"antidisestablishmentarianism" 5 Las palabras largas se dividen en varios tokens
"こんにちは" 3 Los caracteres no latinos suelen necesitar más tokens
"1234567890" 3 Las cifras se agrupan en bloques de varios tokens
"<div>Hello</div>" 4-6 Las etiquetas HTML pueden contarse distinto según el método estándar u ordinario
Publicidad
Esquema que muestra un texto de entrada dividido en fragmentos de colores (tokens) y su recuento
El codificador divide el texto en tokens y después los cuenta.
Última actualización:

Lo más popular en Misceláneos

Ver todas las calculadoras de Misceláneos