Convertisseur tokens-mots pour LLM

Convertisseur tokens-mots pour LLM

Leader AI Skill PRO

Entrez le calcul

Formule

Mots=Tokens×Mots par token\text{Mots} = \text{Tokens} \times \text{Mots par token}

Exemple

Mots=1000×0.75=750\text{Mots} = 1000 \times 0.75 = 750
Statistiques d'utilisation

Publicité

Résultats

Mots estimés
750
mots
Tokens 1 000
Mots par token 0,75

Signaler une erreur sur cette page

Qu'est-ce que le convertisseur tokens-mots ?

Les grands modèles de langage (LLM) tels que GPT, Claude ou Gemini ne lisent pas le texte mot à mot : ils le traitent sous forme de tokens. Un token est un fragment de texte qui peut correspondre à un mot entier, à une partie de mot, voire à un signe de ponctuation. Pour un texte courant en anglais, un token équivaut à environ 0,75 mot (soit à peu près 1,33 token par mot). Cet outil transforme un nombre de tokens en une estimation de mots, ou un nombre de mots en tokens qu'ils consommeront probablement.

Comment l'utiliser

Choisissez un sens de conversion — Tokens vers mots ou Mots vers tokens —, saisissez votre valeur et, si vous le souhaitez, ajustez le ratio de mots par token (0,75 par défaut). Le résultat s'affiche immédiatement, accompagné du ratio appliqué. Baissez le ratio pour du code ou des textes en langue autre que l'anglais (qui mobilisent davantage de tokens), et augmentez-le pour de l'anglais simple et répétitif.

Flèches de conversion entre tokens et mots avec les facteurs 0,75 et 1,33
Multipliez les tokens par 0,75 pour obtenir les mots ; divisez (ou multipliez par ~1,33) pour l'inverse.

La formule expliquée

La conversion repose sur une simple règle de trois. Pour estimer les mots à partir des tokens :

$$\text{mots} = \text{tokens} \times \text{ratio}$$

Pour estimer les tokens à partir des mots :

$$\text{tokens} = \frac{\text{mots}}{\text{ratio}}$$

Avec le ratio par défaut de 0,75, \(1\,000\) tokens \(\approx 750\) mots, et \(1\,000\) mots \(\approx 1\,333\) tokens. Ce ne sont que des estimations : la tokenisation réelle dépend du modèle, de la langue et du contenu.

Publicité

Exemple concret

Imaginons qu'un appel d'API indique avoir consommé 1 000 tokens. Avec le ratio par défaut :

$$1000 \times 0{,}75 = 750 \text{ mots}$$

À l'inverse, si vous avez rédigé un essai de 1 500 mots et souhaitez connaître son coût en tokens :

$$\frac{1500}{0{,}75} = 2\,000 \text{ tokens}$$

— pratique pour rester dans la fenêtre de contexte d'un modèle ou maîtriser votre budget d'API.

Schéma montrant un fragment de texte découpé en tokens correspondant à des mots
Les tokens sont des fragments de sous-mots ; un mot s'étend donc souvent sur plusieurs tokens.

Conversions courantes entre jetons et mots

Le tableau ci-dessous utilise la règle empirique courante d'environ 0,75 mot par jeton (soit environ 4 caractères de texte anglais par jeton), donc \(\text{Mots} = \text{Jetons} \times 0.75\). Les pages supposent environ 500 mots par page simple interligne. Toutes les valeurs sont des estimations ; les décomptes réels dépendent du tokenizer, de la langue et du contenu.

Jetons Mots approx. (×0,75) Pages approx. (~500 mots/page)
100 75 0,15
500 375 0,75
1 000 750 1,5
4 000 3 000 6
8 000 6 000 12
32 000 24 000 48
128 000 96 000 192
200 000 150 000 300

Pour faire le chemin inverse, divisez les mots par le ratio : \(\text{Jetons} = \text{Mots} \div 0.75\). Par exemple, 1 500 mots ≈ \(1500 \div 0.75 = 2000\) jetons.

Mots par jeton selon le type de contenu

Différents types de texte se découpent en jetons de manière différente. Les ratios ci-dessous sont des règles empiriques approximatives qui varient selon le tokenizer et le modèle ; traitez donc les résultats comme des estimations et utilisez le tokenizer officiel de votre fournisseur lorsque la précision est importante.

Type de contenu Mots par jeton typiques (approx.) Mots dans 1 000 jetons (approx.)
Prose anglaise courante ~0,75 ~750
Anglais technique ou juridique ~0,65–0,70 ~650–700
Code source ~0,5–0,6 ~500–600
Textes non anglais ou écritures non latines ~0,3–0,5 ~300–500
Texte riche en chiffres et caractères spéciaux Souvent inférieur à ~0,5 (très variable) Souvent inférieur à ~500

Pourquoi ces différences ? Les mots anglais courants forment souvent un seul jeton, tandis que les mots rares, les termes techniques longs, les symboles, les chiffres et de nombreux caractères non latins sont découpés en plusieurs morceaux plus petits. Le code compte aussi les espaces, la ponctuation et les symboles, ce qui réduit le nombre de mots par jeton. Dans le calculateur, modifiez le champ du ratio pour correspondre à votre type de contenu.

Publicité

Termes clés : jetons, fenêtre de contexte et tokenizer

Jeton
L'unité de base du texte qu'un modèle de langage lit et écrit. Un jeton peut être un mot entier, une partie de mot, un signe de ponctuation ou un bloc espace-plus-mot.
Tokenizer
Le composant qui convertit un texte en une séquence de jetons (et inversement). Chaque famille de modèles utilise son propre tokenizer et son propre vocabulaire, si bien que le même texte peut produire des nombres de jetons différents.
Codage par paires d'octets (BPE)
Une méthode de tokenisation courante qui part de petites unités (comme des octets ou des caractères) et fusionne de façon répétée les paires adjacentes les plus fréquentes en jetons plus grands, construisant un vocabulaire où les mots courants sont des jetons uniques et les mots rares sont découpés en morceaux.
Fenêtre de contexte
Le nombre maximal de jetons qu'un modèle peut traiter en une seule requête, couvrant généralement ensemble l'invite, l'historique de la conversation et la réponse générée.
Jetons d'entrée et de sortie
Les jetons d'entrée sont ceux que vous envoyez au modèle (invite, documents, historique) ; les jetons de sortie sont ceux que le modèle génère. Les fournisseurs les comptent souvent séparément et peuvent les facturer et les limiter différemment.
Ratio mots par jeton
Le nombre moyen de mots représentés par un jeton. Environ 0,75 est une règle empirique courante pour la prose anglaise (environ 1 jeton ≈ 4 caractères), mais il s'agit d'une approximation qui varie selon la langue et le type de contenu.

FAQ

La valeur de 0,75 mot par token est-elle toujours exacte ? Non : il s'agit d'une règle empirique largement citée pour l'anglais. Le code, les chiffres et les autres langues consomment souvent plus de tokens par mot ; appliquez alors un ratio plus faible.

Pourquoi les tokens sont-ils importants ? La tarification des LLM et les limites de contexte se mesurent en tokens, et non en mots. La conversion vous aide donc à estimer le coût et la capacité disponible.

Comment obtenir un décompte exact ? Utilisez le tokeniseur officiel du modèle (par exemple tiktoken pour OpenAI). Ce calculateur fournit une approximation rapide, et non un décompte exact.

Dernière mise à jour:

Les plus populaires dans Vie numérique

Voir toutes les calculatrices de Vie numérique