トークン→単語数・料金計算ツールとは?
GPT・Claude・GeminiといったLLM(大規模言語モデル)は、テキストを「単語」ではなくトークンという単位で処理します。トークンとは、おおよそ4文字程度の単語の断片を指す、テキストの最小の塊のことです。この計算ツールでは、指定したトークン数がおよそ何単語に相当するかを推定し、さらにモデルの「100万トークン(1M)あたりの単価」をもとに利用料金を算出します。なお料金はLLM API各社の課金体系(米ドル建てが一般的)に基づくため、ご利用のプロバイダの料金表をあわせてご確認ください。
使い方
トークン数、1トークンあたりの単語数(英文なら0.75が目安)、そして必要に応じてプロバイダが設定する100万トークンあたりの単価を入力します(単語数だけを知りたい場合は空欄のままで構いません)。すると、推定単語数と、単価を入力した場合は料金(米ドル)が瞬時に表示されます。
計算式の解説
単語数の推定には $$\text{単語数} \approx \text{トークン数} \times 0.75$$ を用います。これは、OpenAIが英語向けに示している目安「1トークン≈4文字≈0.75単語」に基づいています。料金は $$\text{料金} = \frac{\text{トークン数}}{1{,}000{,}000} \times \text{100万トークンあたりの単価}$$ で計算されます。多くのプロバイダが100万トークンあたりの価格で料金を公表しているためです。日本語やプログラムコードは1単語あたりのトークン消費が多くなる傾向があるため、その場合は比率を調整してください。
計算例
たとえばトークン数1,000、比率0.75、100万トークンあたり2 USDの場合を考えます。単語数 = \(1{,}000 \times 0.75 = 750\) 単語。料金 = \((1{,}000 \div 1{,}000{,}000) \times 2 = 0.002\) USD となります。
よくある質問
単語数の推定はどれくらい正確ですか? あくまで概算です。実際のトークン化はモデルや内容によって変わりますが、英文では0.75単語/トークンが信頼できる平均値です。
入力トークンと出力トークンの料金は同じですか? いいえ。多くのプロバイダでは入力と出力で単価が異なります。それぞれの単価で2回計算し、合計して見積もってください。
コードや英語以外のテキストで差が出るのはなぜですか? これらは1単語あたりのトークン数が多くなりがちです。より正確に見積もるには比率を下げてください(例:0.5)。