MCPで接続 →

計算を入力してください

公式

広告

結果

推定単語数
750
単語
トークン 1,000
1トークンあたりの単語数 0.75

トークン⇔単語数 変換ツールとは?

GPTやClaude、Geminiといった大規模言語モデル(LLM)は、文章を「単語ごと」に読むのではなく、トークンという単位で処理しています。トークンとは、1つの単語まるごと、単語の一部、あるいは記号などに相当する「テキストのかたまり」のことです。一般的な英語の文章では、1トークンはおよそ0.75単語に相当します(言い換えると、1単語あたり約1.33トークン)。このツールは、トークン数から推定単語数を、または単語数から消費しそうなトークン数を、かんたんに換算します。
※この0.75という目安はおもに英語を前提とした値です。日本語は1文字あたりのトークン消費が多くなる傾向があるため、後述のとおり比率を調整してご利用ください。

使い方

まず変換の向きを選びます。トークン → 単語数か、単語数 → トークンのどちらかを選択してください。次に数値を入力し、必要に応じて1トークンあたりの単語数(初期値0.75)を調整します。入力するとすぐに換算結果と使用した比率が表示されます。コードや英語以外の言語(トークンを多く消費しがち)では比率を下げ、シンプルで反復の多い英語では比率を上げると、より実態に近づきます。

計算式の解説

換算はシンプルな比例計算です。トークンから単語数を求めるには

$$\text{単語数} = \text{トークン数} \times \text{比率}$$

単語数からトークン数を求めるには

$$\text{トークン数} = \frac{\text{単語数}}{\text{比率}}$$

初期比率0.75の場合、1,000トークン ≒ 750単語、1,000単語 ≒ 1,333トークンとなります。あくまで概算であり、実際のトークン化はモデル・言語・内容によって変わります。

広告
0.75と1.33の係数を使ったトークンと単語の変換を示す矢印
単語数はトークン数に0.75を掛けて算出。逆算は割る(または約1.33を掛ける)。
テキスト断片がトークンに分割され単語に対応する様子を示す図
トークンはサブワード単位なので、1つの単語が複数のトークンにまたがることがよくあります。

計算例

たとえばAPIの呼び出しで1,000トークンを消費したと表示されたとします。初期比率を使うと

$$1000 \times 0.75 = 750\ \text{単語}$$

逆に1,500単語のエッセイを書いて、そのトークン数を知りたい場合は

$$1500 \div 0.75 = 2{,}000\ \text{トークン}$$

となります。モデルのコンテキストウィンドウ(処理可能な範囲)に収めたいときや、API利用料を見積もりたいときに便利です。

よくある質問

「1トークン=0.75単語」は常に正確ですか? いいえ。これは英語でよく引用される経験則にすぎません。コードや数字、英語以外の言語では1単語あたりのトークン数が増えやすいため、その場合は比率を低めに設定してください。

なぜトークンが重要なのですか? LLMの料金やコンテキスト上限は、単語ではなくトークンで測られます。換算しておくことで、コストや収まり具合を見積もりやすくなります。

正確なトークン数を知るには? モデル公式のトークナイザー(OpenAIならtiktokenなど)をご利用ください。このツールはあくまで素早い概算であり、厳密なカウントではありません。

最終更新: