这个计算器回答什么问题
是租 GPU 自己运行开源权重模型,还是按 token 付费调用 API?答案取决于三个数字:你的 GPU 实际每秒能生成多少 token,你能让它们保持多忙,以及每个月需要多少 token。本计算器根据 GPU 规格书和模型结构估算第一个数字,换算成每百万 token 成本,再与相同提示词/输出比例下的 API 价格对比。
吞吐量如何估算
为批次中的每个序列各生成一个 token(一个解码步),需要把模型全部权重从 GPU 显存读一遍,再读取每个序列的键/值(KV)缓存。对于 \( N \) 个参数的模型,每个 token 还需要约 \( 2N \) 次浮点运算,外加一项随上下文增长的注意力计算(Kaplan 等,2020,式 2.2)。按照 Williams、Waterman 与 Patterson 的 Roofline 模型,一步的耗时取两种限制中较慢的一个:
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$其中 \( b \) 为每个权重的字节数,\( B \) 为并发序列数,\( \bar{S} \) 为解码时的平均上下文长度(提示词加一半输出),\( k \) 为每 token 的 KV 缓存字节数,\( G \) 为 GPU 数量,\( BW \) 为显存带宽,\( F \) 为该精度下的稠密峰值 FLOPS,\( \eta \) 为带宽效率,\( m \) 为算力利用率(MFU)。每 token 的 KV 缓存为 \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \)。
提示词会先被并行处理(预填充),因此通常受算力限制。与 Pope 等(2022)一致,一个批次的耗时等于预填充时间加上每个输出 token 一个解码步;每秒输出 token 等于 \( B \) 乘以每次请求的输出 token,再除以批次耗时。
批次较小时,显存项占主导,单用户速度约等于带宽除以模型大小。批次越大,每次读取权重就被更多序列分摊,总吞吐量随之上升,直到 KV 缓存或算力成为瓶颈。
从每秒 token 到每百万 token 成本
$$ \text{每百万 token 成本} = \frac{p_{\text{GPU}} \times G}{\text{token/秒} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \) 是每 GPU 小时价格,\( u \) 是平均利用率,即付费时长中 GPU 以模型速度提供服务的比例。只有一半时间在忙的部署,每个 token 的成本要翻倍。API 一侧按每次请求的提示词和输出 token 对输入、输出价格加权,保证两边基于同样的 token 计价。
盈亏平衡用量
全天运行的部署每月成本固定:每 GPU 小时价格 × GPU 数量 × 730 小时。API 账单则随用量增长。盈亏平衡点是两者相等时的每月用量,即每月固定成本除以 API 每 token 价格。前提是单个部署能承载这一用量;超出处理能力就要再加一个部署,所以图中自托管曲线呈阶梯状上升。
按默认输入(Llama 3 70B,BF16,两张 H100 SXM,示例价格每 GPU 小时 2.50 美元,16 个并发序列,每次请求 1,500 个提示词 token、500 个输出 token),估算约为每秒 397 个输出 token,在 50% 利用率下每百万 token 1.75 美元。与示例 API 价格(每百万 token 输入 1 美元、输出 5 美元)相比,盈亏平衡点约为每月 18.25 亿 token。
所用 GPU 参数
预设值取自各厂商自己的规格书。Tensor 算力常以结构化稀疏的数值公布,是稠密算力的两倍;常规推理按稠密方式运行,所以表格和计算器都采用稠密数值。
| GPU | 显存(GB) | 带宽(GB/s) | 稠密 FP16/BF16 TFLOPS | 稠密 FP8 TFLOPS |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
如果你的 GPU 不在列表中,请选择“自定义 GPU”,填入它的显存、带宽和稠密 TFLOPS。
估算未涵盖的因素
- 推理引擎差异很大:连续批处理、分页 KV 缓存、投机解码和优化算子都会显著改变吞吐量。请在自己的系统上实测并填入结果。
- 把模型拆分到多张 GPU 会增加通信时间,估算中未计入。
- 混合专家(MoE)模型每个 token 只读取激活的专家:计算速度时填激活参数量,检查显存时用总参数量。
- 不同模型的分词器不同,同一段文字的 token 数可能不同。
- 电费、人力、应对高峰的冗余容量和出站流量费用均未包含,除非你把它们计入每小时价格。
如需更细致地估算显存,请使用 GPU 显存需求计算器。