這個計算器回答什麼問題
該租 GPU 自己執行開放權重模型,還是依 token 付費使用 API?答案取決於三個數字:你的 GPU 實際每秒能產生多少 token、你能讓它們維持多忙,以及每個月需要多少 token。本計算器依 GPU 規格表與模型架構估算第一個數字,換算成每百萬 token 成本,再與相同提示詞/輸出比例下的 API 價格比較。
吞吐量如何估算
為批次中每個序列各產生一個 token(一個解碼步驟),需要把模型全部權重從 GPU 記憶體讀取一次,並讀取每個序列的鍵/值(KV)快取。對 \( N \) 個參數的模型,每個 token 還需約 \( 2N \) 次浮點運算,外加一項隨上下文增長的注意力運算(Kaplan 等,2020,式 2.2)。依照 Williams、Waterman 與 Patterson 的 Roofline 模型,一個步驟的耗時取兩種限制中較慢者:
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$其中 \( b \) 為每個權重的位元組數,\( B \) 為同時處理的序列數,\( \bar{S} \) 為解碼時的平均上下文長度(提示詞加一半輸出),\( k \) 為每 token 的 KV 快取位元組數,\( G \) 為 GPU 數量,\( BW \) 為記憶體頻寬,\( F \) 為該精度的密集峰值 FLOPS,\( \eta \) 為頻寬效率,\( m \) 為運算使用率(MFU)。每 token 的 KV 快取為 \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \)。
提示詞會先以平行方式處理(預填),因此通常受運算能力限制。與 Pope 等(2022)相同,一個批次的耗時為預填時間加上每個輸出 token 一個解碼步驟;每秒輸出 token 等於 \( B \) 乘以每次請求的輸出 token,再除以批次耗時。
批次較小時,記憶體項占主導,單一使用者速度約為頻寬除以模型大小。批次越大,每次讀取權重就由越多序列分攤,總吞吐量隨之提升,直到 KV 快取或運算能力成為瓶頸。
從每秒 token 到每百萬 token 成本
$$ \text{每百萬 token 成本} = \frac{p_{\text{GPU}} \times G}{\text{token/秒} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \) 為每 GPU 小時價格,\( u \) 為平均使用率,也就是付費時數中 GPU 以模型速度提供服務的比例。只有一半時間在忙的部署,每個 token 的成本會加倍。API 一側依每次請求的提示詞與輸出 token 對輸入、輸出價格加權,讓兩邊以相同的 token 計價。
損益兩平用量
全天運作的部署每月成本固定:每 GPU 小時價格 × GPU 數量 × 730 小時。API 帳單則隨用量增加。損益兩平點是兩者相等時的每月用量,也就是每月固定成本除以 API 每 token 價格。前提是單一部署承接得了這個用量;超過處理量就得再加一個部署,因此圖中自架曲線呈階梯狀上升。
以預設輸入(Llama 3 70B,BF16,兩張 H100 SXM,範例價格每 GPU 小時 2.50 美元,16 個同時序列,每次請求 1,500 個提示詞 token、500 個輸出 token)計算,估算約為每秒 397 個輸出 token,50% 使用率下每百萬 token 1.75 美元。與範例 API 價格(每百萬 token 輸入 1 美元、輸出 5 美元)相比,損益兩平點約為每月 18.25 億 token。
使用的 GPU 規格
預設值取自各廠商自己的規格表。Tensor 運算效能常以結構化稀疏的數值公布,是密集效能的兩倍;一般推論以密集方式執行,因此表格與計算器都採用密集數值。
| GPU | 記憶體(GB) | 頻寬(GB/s) | 密集 FP16/BF16 TFLOPS | 密集 FP8 TFLOPS |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
若你的 GPU 不在清單中,請選擇「自訂 GPU」,填入其記憶體、頻寬與密集 TFLOPS。
估算未涵蓋的部分
- 推論引擎差異很大:連續批次處理、分頁 KV 快取、推測解碼與最佳化核心程式都會大幅改變吞吐量。請在自己的系統上實測並填入結果。
- 把模型分散到多張 GPU 會增加通訊時間,估算並未納入。
- 混合專家(MoE)模型每個 token 只讀取啟用中的專家:計算速度時填入啟用參數量,檢查記憶體時則用總參數量。
- 不同模型的分詞器不同,同一段文字的 token 數可能不同。
- 電費、人力、因應尖峰的備援容量與對外傳輸費用都未計入,除非你把它們加進每小時價格。
如需更細緻地估算 GPU 記憶體,請使用 GPU VRAM 需求計算器。