Qué responde esta calculadora
¿Conviene alquilar GPU y ejecutar tú mismo un modelo de pesos abiertos, o pagar una API por token? La respuesta depende de tres cifras: cuántos tokens por segundo producen realmente tus GPU, cuánto tiempo las mantienes ocupadas y cuántos tokens necesitas al mes. La calculadora estima la primera a partir de la ficha técnica de la GPU y la forma del modelo, la convierte en un coste por millón de tokens y la compara con el precio de una API para la misma mezcla de tokens de prompt y de salida.
Cómo se estima el rendimiento
Generar un token para cada secuencia del lote (un paso de decodificación) obliga a leer una vez todos los pesos del modelo desde la memoria de la GPU, más la caché clave/valor (KV) de cada secuencia. Además cuesta unas \( 2N \) operaciones de coma flotante por token para un modelo de \( N \) parámetros, más un término de atención que crece con el contexto (Kaplan et al., 2020, ec. 2.2). Según el modelo roofline de Williams, Waterman y Patterson, un paso dura lo que el más lento de los dos límites:
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$\( b \) son los bytes por peso, \( B \) el número de secuencias simultáneas, \( \bar{S} \) el contexto medio durante la decodificación (prompt más la mitad de la salida), \( k \) los bytes de caché KV por token, \( G \) el número de GPU, \( BW \) el ancho de banda de memoria, \( F \) los FLOPS densos máximos para la precisión, \( \eta \) la eficiencia del ancho de banda y \( m \) la utilización de cómputo (MFU). La caché KV por token es \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \).
El prompt se procesa primero y en paralelo (prefill), por lo que suele estar limitado por el cómputo. Como en Pope et al. (2022), un lote tarda el tiempo de prefill más un paso de decodificación por cada token de salida, y los tokens de salida por segundo equivalen a \( B \) por los tokens de salida de cada solicitud, divididos entre ese tiempo.
Con lotes pequeños domina el término de memoria y la velocidad por usuario se acerca al ancho de banda dividido entre el tamaño del modelo. Los lotes grandes reparten cada lectura de los pesos entre más secuencias, así que el rendimiento total sube hasta que la caché KV o el cómputo se convierten en el límite.
De tokens por segundo a coste por millón de tokens
$$ \text{Coste por 1 M de tokens} = \frac{p_{\text{GPU}} \times G}{\text{tokens/s} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \) es el precio por hora de GPU y \( u \) la utilización media: la parte de las horas pagadas en la que las GPU sirven al ritmo modelado. Un despliegue ocupado la mitad del tiempo paga el doble por token. En la API, los precios de entrada y salida se ponderan con tus tokens de prompt y de salida por solicitud, de modo que ambos lados se calculan sobre los mismos tokens.
Volumen de equilibrio
Un despliegue siempre encendido cuesta lo mismo cada mes: precio por hora de GPU × número de GPU × 730 horas. La factura de la API crece con el volumen. El punto de equilibrio es el volumen mensual en el que ambos coinciden: el coste fijo mensual dividido entre el precio de la API por token. Solo cuenta si un despliegue puede servir ese volumen; más allá de su capacidad hace falta otro despliegue, y por eso la línea autoalojada del gráfico sube por escalones.
Con los valores por defecto (Llama 3 70B en BF16 en dos GPU H100 SXM a un precio de ejemplo de 2,50 USD por hora de GPU, 16 secuencias simultáneas, 1500 tokens de prompt y 500 de salida por solicitud), la estimación es de unos 397 tokens de salida por segundo y 1,75 USD por millón de tokens con un 50 % de utilización. Frente a un precio de API de ejemplo de 1 USD de entrada y 5 USD de salida por millón de tokens, el equilibrio está en unos 1825 millones de tokens al mes.
Datos de GPU utilizados
Los preajustes proceden de la ficha técnica de cada fabricante. El rendimiento de los tensor cores suele anunciarse con dispersión estructurada, que duplica la cifra densa; la inferencia habitual es densa, así que la tabla y la calculadora usan los valores densos.
| GPU | Memoria (GB) | Ancho de banda (GB/s) | TFLOPS FP16/BF16 densos | TFLOPS FP8 densos |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
Si tu GPU no aparece, elige «GPU personalizada» e introduce su memoria, su ancho de banda y sus TFLOPS densos.
Qué deja fuera la estimación
- Los motores de servicio difieren: el batching continuo, la caché KV paginada, la decodificación especulativa y los kernels optimizados pueden cambiar mucho el rendimiento. Mide tu propio sistema e introduce el resultado.
- Repartir un modelo entre varias GPU añade un tiempo de comunicación que la estimación ignora.
- Un modelo mixture-of-experts solo lee los expertos activos en cada token: introduce los parámetros activos para la velocidad, pero comprueba la memoria con el total.
- Cada modelo usa su propio tokenizador, así que el mismo texto puede dar un número distinto de tokens.
- La electricidad, el personal, la capacidad de reserva para picos y el tráfico de salida no se incluyen salvo que los sumes al precio por hora.
Para dimensionar la memoria de la GPU con más detalle, usa la calculadora de VRAM necesaria en la GPU.