この計算ツールでわかること
GPU を借りてオープンウェイトのモデルを自分で動かすべきか、それともトークン課金の API を使うべきか。答えを左右するのは 3 つの数字です。GPU が実際に何トークン/秒を生成するか、どれだけ稼働させ続けられるか、そして毎月何トークン必要か。このツールは 1 つ目を GPU のデータシートとモデルの構造から推定し、100 万トークンあたりのコストに換算して、同じプロンプト/出力トークン比率での API 料金と比べます。
スループットの推定方法
バッチ内のすべてのシーケンスについて 1 トークンずつ生成する処理(デコード 1 ステップ)では、モデルの全重みを GPU メモリから 1 回読み、さらに各シーケンスのキー/バリュー(KV)キャッシュを読みます。演算量は \( N \) パラメータのモデルで 1 トークンあたり約 \( 2N \) 回の浮動小数点演算に、文脈長に比例するアテンション項を加えたものです(Kaplan ほか、2020、式 2.2)。Williams・Waterman・Patterson のルーフラインモデルによれば、1 ステップの時間は 2 つの上限のうち遅い方で決まります。
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$\( b \) は重み 1 つあたりのバイト数、\( B \) は同時実行シーケンス数、\( \bar{S} \) はデコード中の平均文脈長(プロンプト+出力の半分)、\( k \) はトークンあたりの KV キャッシュのバイト数、\( G \) は GPU 台数、\( BW \) はメモリ帯域幅、\( F \) はその精度での密なピーク FLOPS、\( \eta \) は帯域の実効率、\( m \) は演算効率(MFU)です。トークンあたりの KV キャッシュは \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \) です。
プロンプトは先にまとめて並列処理(プリフィル)されるため、通常は演算性能が律速になります。Pope ほか(2022)と同じく、1 バッチの時間はプリフィル時間に出力トークン数ぶんのデコードステップを足したもので、出力トークン/秒は \( B \) × リクエストあたりの出力トークン数 ÷ バッチ時間です。
バッチが小さいとメモリ項が支配的で、ユーザーあたりの速度はおおよそ帯域幅 ÷ モデルサイズになります。バッチを大きくすると 1 回の重み読み込みを多くのシーケンスで共有できるため、KV キャッシュか演算性能が上限になるまで合計スループットが伸びます。
トークン/秒から 100 万トークンあたりコストへ
$$ \text{100 万トークンあたりコスト} = \frac{p_{\text{GPU}} \times G}{\text{トークン/秒} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \) は GPU 1 時間あたりの料金、\( u \) は平均稼働率で、支払った時間のうち GPU がモデル化した速度で処理している割合です。半分の時間しか稼働しない構成では、トークン単価が 2 倍になります。API 側は入力と出力の料金をリクエストあたりのプロンプト/出力トークン数で加重するので、両者を同じトークン量で比べられます。
損益分岐量
常時稼働する構成の月額は一定で、GPU 時間単価 × GPU 台数 × 730 時間です。一方、API の請求額は量に比例して増えます。損益分岐点は両者が等しくなる月間量、つまり月額固定費 ÷ API のトークン単価です。ただし 1 つの構成でその量を処理できる場合に限ります。処理能力を超えると構成を追加する必要があるため、グラフのセルフホストの線は階段状に上がります。
初期値(Llama 3 70B を BF16 で H100 SXM 2 台に載せ、例として GPU 1 時間 2.50 USD、同時 16 シーケンス、リクエストあたりプロンプト 1,500・出力 500 トークン)では、出力は約 397 トークン/秒、稼働率 50% で 100 万トークンあたり 1.75 USD と推定されます。例として入力 1 USD・出力 5 USD(100 万トークンあたり)の API と比べると、損益分岐は月約 18 億 2,500 万トークンです。
使用している GPU の数値
プリセットは各メーカーのデータシートの値です。Tensor 演算性能は構造化スパース性込みで公表されることが多く、その値は密な演算の 2 倍です。通常の推論は密な演算なので、表と計算には密な値を使っています。
| GPU | メモリ(GB) | 帯域幅(GB/s) | FP16/BF16 TFLOPS(密) | FP8 TFLOPS(密) |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
一覧にない GPU は「カスタム GPU」を選び、メモリ、帯域幅、密な TFLOPS を入力してください。
推定に含まれないもの
- サービングエンジンによって差があります。continuous batching、paged KV キャッシュ、投機的デコード、最適化カーネルでスループットは大きく変わるので、自社環境で測って入力してください。
- モデルを複数 GPU に分割すると通信時間が増えますが、推定には含めていません。
- Mixture-of-Experts モデルはトークンごとにアクティブなエキスパートだけを読みます。速度にはアクティブパラメータ数を入れ、メモリは総パラメータ数で確認してください。
- モデルごとにトークナイザーが異なるため、同じ文章でもトークン数が変わります。
- 電力、人件費、ピーク用の予備容量、外向き通信費は、時間単価に上乗せしない限り含まれません。
GPU メモリをより詳しく見積もるには GPU の必要 VRAM 計算ツールをお使いください。