Calculateur de coût : LLM auto-hébergé ou API

Calculateur de coût : LLM auto-hébergé ou API

Émergent AI Skill PRO

Entrez le calcul

Déploiement GPU

Le prix horaire est un exemple. Saisissez le tarif de votre devis cloud ou le coût amorti de votre propre matériel.

Modèle

Valeurs par défaut : Llama 3 70B (80 couches, dimension 8 192, 64 têtes, 8 têtes clé/valeur). Reprenez les valeurs de votre modèle dans son fichier de configuration ou son article.

Calculateur de VRAM GPU nécessaire

Charge de travail

Efficacité

Les deux valeurs d’efficacité sont des hypothèses modifiables, pas des mesures. La meilleure donnée reste un benchmark de votre propre pile de service avec votre taille de batch.

API à comparer

Formule

Coût par million de tokens=Prix par heure-GPU×Gtokens/s×3600×u×106\text{Coût par million de tokens} = \dfrac{\text{Prix par heure-GPU} \times G}{\text{tokens/s} \times 3600 \times u} \times 10^{6}
Afficher les étapes du calcul (3)
  1. Durée d’une étape de décodage (roofline)

    tstep=max⁡(Nb+BS‾kηGBW,B(2N+2nlayerS‾d)mGF)t_{\text{step}} = \max\left(\dfrac{N b + B \bar{S} k}{\eta\, G\, BW},\; \dfrac{B (2N + 2\, n_{\text{layer}} \bar{S} d)}{m\, G\, F}\right)

    Une étape de décodage lit les poids (N·b octets) et le cache KV de chaque séquence (B·S̄·k octets) à la bande passante effective η·G·BW, et exécute B·(2N + 2·n_layer·S̄·d) FLOP à m·G·F. La limite la plus lente fixe la durée de l’étape (Williams, Waterman et Patterson ; Kaplan et al. 2020, éq. 2.2).

  2. Cache KV par token

    k=2nlayernkvdnheadbkvk = 2\, {{n_{\text{layer}}}}\, {{n_{\text{kv}}}}\, \dfrac{d}{{{n_{\text{head}}}}}\, b_{\text{kv}}

    Clés et valeurs de chaque couche : n_kv têtes clé/valeur de taille d ÷ n_head, à b_kv octets par valeur.

  3. Volume mensuel de rentabilité

    V∗=pGPU×G×730pAPI/106V^{*} = \dfrac{{{p_{\text{GPU}}}} \times G \times 730}{p_{\text{API}} / 10^{6}}

    Coût mensuel fixe d’un déploiement en continu (prix par heure-GPU × G × 730 h) divisé par le prix de l’API par token pour votre répartition prompt/sortie. Atteignable seulement s’il reste sous la capacité d’un déploiement.

Statistiques d'utilisation

Publicité

Résultats

Coût auto-hébergé par million de tokens
$1,75
tokens d’entrée + de sortie, à votre taux d’utilisation
Coût de l’API par million de tokens
$2,00
Claude Haiku 4.5
Le moins cher à votre volume mensuel : API
Écart mensuel : $1 650
Volume de rentabilité (fonctionnement continu) : 1 825 millions de tokens par mois
Tokens de sortie par seconde
397
estimation, déploiement complet
Vitesse par utilisateur (décodage)
31,5
tokens/s par séquence
Tokens par seconde au total
1 587
prompt + sortie
Coût auto-hébergé par million de tokens de sortie
$7,00
traitement du prompt inclus
Coût de l’API par million de tokens de sortie
$8,00
avec les prompts correspondants
Capacité d’un déploiement
2 085
millions de tokens par mois

Coût mensuel à votre volume

Volume mensuel (millions de tokens) 1 000
Coût horaire des GPU (tous les GPU) $5,00
Déploiements nécessaires 1
Auto-hébergé, en continu (730 h) $3 650,00
API $2 000,00

Courbe des coûts

Coût mensuel selon le volume mensuel de tokens 02 0004 0006 000 01 0002 000
Auto-hébergé (chaque palier = un déploiement de plus) API Votre volume Seuil de rentabilité

Axe horizontal : millions de tokens par mois. Axe vertical : dollars américains par mois.

Estimation du débit

GPU NVIDIA H100 SXM5 80GB × 2
Le décodage est limité par la bande passante mémoire
Temps mémoire par étape de décodage (ms)
31,79
Temps de calcul par étape de décodage (ms)
2,88
Temps de prefill pour un batch (ms) 4 275
Tokens de sortie par seconde estimés 397
TFLOPS denses de crête retenus (par GPU) 989,4

Vérification de la mémoire

Poids du modèle (Go) 140,0
Cache KV par token (Mo) 0,328
Cache KV, toutes séquences à pleine longueur (Go) 10,5
Nécessaire / disponible (Go)
150,5 / 160
Tient en mémoire GPU oui
Séquences maximales possibles 30

Les tampons du runtime, les activations et la fragmentation consomment aussi de la mémoire : gardez une marge.

Prix d’API retenu

Prix d’entrée par million de tokens $1,00
Prix de sortie par million de tokens $5,00
Tokens de prompt par token de sortie 3

Prix catalogue selon BerriAI (LiteLLM), 2026-11-02

Autres modèles d’API avec la même répartition prompt / sortie

Modèle Par million de tokens Par mois
Gemini 2.5 Flash-Lite $0,17 $175
Claude Haiku 5.5 $0,20 $200
gpt-6-luna $0,20 $200
DeepSeek Flash (off-peak) $0,26 $263
deepseek-flash $0,53 $525
Mistral Large $0,75 $750
Gemini 3.5 Flash-Lite $0,85 $850
Gemini 2.5 Flash $0,85 $850
DeepSeek V4 Pro (off-peak) $0,99 $990
Gemini 3.8 Flash $1,50 $1 500
deepseek-v4-pro $1,98 $1 980
Claude Haiku 4.5 $2,00 $2 000
gpt-6.1-terra $2,00 $2 000
Gemini 2.5 Pro $3,44 $3 438
Claude Sonnet 5.5 $4,00 $4 000
gpt-6.1-sol $4,00 $4 000
Gemini 4 Argon $4,00 $4 000
Gemini 3.1 Pro Preview $4,50 $4 500
Claude Sonnet 4.6 $6,00 $6 000
Claude Opus 5.5 $8,00 $8 000
Claude Opus 5 $10,00 $10 000
Claude Fable 5.1 $20,00 $20 000
gpt-6-astra $20,00 $20 000

Bleu : moins cher que l’auto-hébergement à votre volume. Orange : l’auto-hébergement est moins cher.

Estimations fondées sur les valeurs de crête des fiches techniques (denses, sans sparsité) et sur vos hypothèses d’efficacité. Le débit réel dépend du moteur de service, des kernels et du trafic : saisissez une valeur mesurée avant de décider.

Signaler une erreur sur cette page

À quelle question répond ce calculateur

Faut-il louer des GPU et faire tourner soi-même un modèle à poids ouverts, ou payer une API au token ? Tout dépend de trois chiffres : le nombre de tokens par seconde que vos GPU produisent réellement, leur taux d’occupation et le nombre de tokens dont vous avez besoin chaque mois. Le calculateur estime le premier à partir de la fiche technique du GPU et de l’architecture du modèle, le convertit en coût par million de tokens et le compare au tarif d’une API pour la même répartition entre tokens de prompt et de sortie.

Comment le débit est estimé

Générer un token pour chaque séquence du batch (une étape de décodage) impose de lire une fois tous les poids du modèle dans la mémoire du GPU, plus le cache clé/valeur (KV) de chaque séquence. Cela coûte aussi environ \( 2N \) opérations en virgule flottante par token pour un modèle de \( N \) paramètres, plus un terme d’attention qui croît avec le contexte (Kaplan et al., 2020, éq. 2.2). D’après le modèle roofline de Williams, Waterman et Patterson, une étape dure autant que la plus lente des deux limites :

$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$

\( b \) est le nombre d’octets par poids, \( B \) le nombre de séquences simultanées, \( \bar{S} \) le contexte moyen pendant le décodage (prompt plus la moitié de la sortie), \( k \) les octets de cache KV par token, \( G \) le nombre de GPU, \( BW \) la bande passante mémoire, \( F \) les FLOPS denses de crête pour la précision, \( \eta \) l’efficacité de la bande passante et \( m \) l’utilisation du calcul (MFU). Le cache KV par token vaut \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \).

Le prompt est traité d’abord et en parallèle (prefill), si bien qu’il est en général limité par le calcul. Comme chez Pope et al. (2022), un batch dure le temps du prefill plus une étape de décodage par token de sortie, et le débit en tokens de sortie vaut \( B \) fois les tokens de sortie par requête divisé par cette durée.

Avec de petits batchs, le terme mémoire domine et la vitesse par utilisateur avoisine la bande passante divisée par la taille du modèle. De plus grands batchs partagent chaque lecture des poids entre davantage de séquences : le débit total augmente jusqu’à ce que le cache KV ou le calcul devienne la limite.

Illustration d'un GPU dont la mémoire est partagée entre les poids du modèle et le cache KV, avec un tuyau de bande passante alimentant la puce de calcul
La vitesse de décodage dépend surtout de la rapidité avec laquelle le GPU lit les poids du modèle en mémoire ; la bande passante mémoire fixe donc le plafond de débit.

Des tokens par seconde au coût par million de tokens

$$ \text{Coût par million de tokens} = \frac{p_{\text{GPU}} \times G}{\text{tokens/s} \times 3600 \times u} \times 10^{6} $$

\( p_{\text{GPU}} \) est le prix par heure-GPU et \( u \) le taux d’utilisation moyen : la part des heures payées pendant laquelle les GPU servent au rythme modélisé. Un déploiement occupé la moitié du temps paie deux fois plus cher chaque token. Côté API, les prix d’entrée et de sortie sont pondérés par vos tokens de prompt et de sortie par requête, pour que les deux options soient chiffrées sur les mêmes tokens.

Publicité
Diagramme de flux montrant le prix de l'heure-GPU et le nombre de GPU, ajustés selon l'utilisation et le débit, convertis en coût par million de tokens
Coût auto-hébergé par million de tokens : le coût de l'heure-GPU divisé par les tokens réellement produits chaque heure selon votre taux d'utilisation.

Volume de rentabilité

Un déploiement en continu coûte la même somme chaque mois : prix par heure-GPU × nombre de GPU × 730 heures. La facture d’API, elle, augmente avec le volume. Le seuil de rentabilité est le volume mensuel où les deux s’égalisent : le coût mensuel fixe divisé par le prix de l’API par token. Il n’a de sens que si un déploiement peut absorber ce volume ; au-delà de sa capacité, il faut un déploiement de plus, d’où la courbe auto-hébergée en paliers sur le graphique.

Avec les valeurs par défaut (Llama 3 70B en BF16 sur deux GPU H100 SXM à 2,50 USD l’heure-GPU à titre d’exemple, 16 séquences simultanées, 1 500 tokens de prompt et 500 de sortie par requête), l’estimation donne environ 397 tokens de sortie par seconde et 1,75 USD par million de tokens à 50 % d’utilisation. Face à un tarif d’API d’exemple de 1 USD en entrée et 5 USD en sortie par million de tokens, la rentabilité est atteinte vers 1 825 millions de tokens par mois.

Publicité
Graphique en courbes où une ligne de coût d'API croissante croise une ligne de coût auto-hébergé plate au volume du seuil de rentabilité
Seuil de rentabilité : dès que le volume mensuel dépasse le point de croisement, un GPU à coût fixe revient moins cher que de payer l'API au token.

Caractéristiques GPU utilisées

Les préréglages reprennent la fiche technique de chaque fabricant. Le débit des tensor cores est souvent annoncé avec sparsité structurée, soit le double du débit dense ; l’inférence courante est dense, donc le tableau et le calculateur utilisent les valeurs denses.

GPU Mémoire (Go) Bande passante (Go/s) TFLOPS FP16/BF16 denses TFLOPS FP8 denses
NVIDIA H100 SXM5 80 3,352 989.4 1,978.9
NVIDIA H100 PCIe 80 2,039 756 1,513
NVIDIA H200 SXM 141 4,800 989.5 1,979
NVIDIA A100 80GB SXM 80 2,039 312 —
NVIDIA A100 80GB PCIe 80 1,935 312 —
NVIDIA L40S 48 864 362.05 733
NVIDIA L4 24 300 121 242.5
AMD Instinct MI300X 192 5,300 1,307.45 2,614.9

Pour un GPU absent de la liste, choisissez « GPU personnalisé » et saisissez sa mémoire, sa bande passante et ses TFLOPS denses.

Ce que l’estimation ne couvre pas

  • Les moteurs de service diffèrent : batching continu, cache KV paginé, décodage spéculatif et kernels optimisés peuvent changer fortement le débit. Mesurez votre propre pile et saisissez le résultat.
  • Répartir un modèle sur plusieurs GPU ajoute un temps de communication que l’estimation ignore.
  • Un modèle mixture-of-experts ne lit que ses experts actifs pour chaque token : saisissez les paramètres actifs pour la vitesse, mais vérifiez la mémoire avec le total.
  • Les modèles n’utilisent pas le même tokenizer : un même texte peut donner un nombre de tokens différent.
  • L’électricité, le personnel, la capacité de réserve pour les pics et le trafic sortant ne sont pas inclus, sauf si vous les ajoutez au prix horaire.

Pour dimensionner la mémoire GPU plus finement, utilisez le calculateur de VRAM GPU nécessaire.

Sources et références

Dernière mise à jour:

Les plus populaires dans Spécifique à l'industrie

Voir toutes les calculatrices de Spécifique à l'industrie