Kendi Sunucunda LLM ve API Maliyet Hesaplayıcı

Kendi Sunucunda LLM ve API Maliyet Hesaplayıcı

Büyüyen AI Skill PRO

Hesaplamaya Girin

GPU yapılandırması

Saatlik fiyat örnektir. Bulut teklifinizdeki ücreti ya da kendi donanımınızın amortisman maliyetini girin.

Model

Varsayılanlar: Llama 3 70B (80 katman, boyut 8.192, 64 başlık, 8 anahtar/değer başlığı). Kendi modelinizin değerlerini yapılandırma dosyasından veya makalesinden alın.

GPU VRAM ihtiyacı hesaplayıcısı

İş yükü

Verimlilik

İki verimlilik değeri de ölçüm değil, değiştirilebilir varsayımdır. En iyi girdi, kendi sunum altyapınızı kendi batch boyutunuzla test ettiğiniz bir benchmark sonucudur.

Karşılaştırılacak API

Formül

1 milyon token maliyeti=GPU-saat fiyatı×Gtoken/sn×3600×u×106\text{1 milyon token maliyeti} = \dfrac{\text{GPU-saat fiyatı} \times G}{\text{token/sn} \times 3600 \times u} \times 10^{6}
Hesaplama adımlarını göster (3)
  1. Decode adımı süresi (roofline)

    tstep=max⁡(Nb+BS‾kηGBW,B(2N+2nlayerS‾d)mGF)t_{\text{step}} = \max\left(\dfrac{N b + B \bar{S} k}{\eta\, G\, BW},\; \dfrac{B (2N + 2\, n_{\text{layer}} \bar{S} d)}{m\, G\, F}\right)

    Bir decode adımı ağırlıkları (N·b bayt) ve tüm dizilerin KV önbelleğini (B·S̄·k bayt) gerçekleşen bant genişliği η·G·BW ile okur ve B·(2N + 2·n_layer·S̄·d) FLOP’u m·G·F ile hesaplar. Yavaş olan sınır adım süresini belirler (Williams, Waterman ve Patterson; Kaplan vd. 2020, denklem 2.2).

  2. Token başına KV önbelleği

    k=2nlayernkvdnheadbkvk = 2\, {{n_{\text{layer}}}}\, {{n_{\text{kv}}}}\, \dfrac{d}{{{n_{\text{head}}}}}\, b_{\text{kv}}

    Her katmanın anahtar ve değerleri: d ÷ n_head boyutunda n_kv anahtar/değer başlığı, değer başına b_kv bayt.

  3. Aylık başa baş hacmi

    V∗=pGPU×G×730pAPI/106V^{*} = \dfrac{{{p_{\text{GPU}}}} \times G \times 730}{p_{\text{API}} / 10^{6}}

    Sürekli açık bir yapılandırmanın sabit aylık maliyeti (GPU-saat fiyatı × G × 730 sa), istem/çıktı oranınıza göre ağırlıklandırılmış API token fiyatına bölünür. Yalnızca tek yapılandırmanın kapasitesinin altındaysa ulaşılabilir.

Kullanım istatistikleri

Reklam

Sonuç

Kendi sunucunuzda 1 milyon token maliyeti
$1,75
girdi + çıktı token, sizin kullanım oranınızla
API ile 1 milyon token maliyeti
$2,00
Claude Haiku 4.5
Aylık hacminizde daha ucuz olan: API
Aylık fark: $1.650
Başa baş hacmi (sürekli açık): 1.825 milyon token/ay
Saniye başına çıktı token
397
tahmin, tüm yapılandırma
Kullanıcı başına hız (decode)
31,5
dizi başına token/sn
Saniye başına tüm token
1.587
istem + çıktı
Kendi sunucunuzda 1 milyon çıktı token maliyeti
$7,00
istem işleme dahil
API ile 1 milyon çıktı token maliyeti
$8,00
gereken istemlerle birlikte
Tek yapılandırmanın kapasitesi
2.085
milyon token/ay

Hacminizde aylık maliyet

Aylık hacim (milyon token) 1.000
Saatlik GPU maliyeti (tüm GPU’lar) $5,00
Gereken yapılandırma sayısı 1
Kendi sunucunuz, sürekli açık (730 sa) $3.650,00
API $2.000,00

Maliyet eğrisi

Aylık token hacmine göre aylık maliyet 02.0004.0006.000 01.0002.000
Kendi sunucunuz (her basamak = bir yapılandırma daha) API Hacminiz Başa baş noktası

Yatay eksen: aylık milyon token. Dikey eksen: aylık ABD doları.

Verim tahmini

GPU NVIDIA H100 SXM5 80GB × 2
Decode’u sınırlayan bellek bant genişliği
Decode adımı başına bellek süresi (ms)
31,79
Decode adımı başına hesaplama süresi (ms)
2,88
Bir batch için prefill süresi (ms) 4.275
Tahmini saniye başına çıktı token 397
Kullanılan tepe yoğun TFLOPS (GPU başına) 989,4

Bellek kontrolü

Model ağırlıkları (GB) 140,0
Token başına KV önbelleği (MB) 0,328
KV önbelleği, tüm diziler tam uzunlukta (GB) 10,5
Gereken / mevcut (GB)
150,5 / 160
GPU belleğine sığıyor mu evet
Sığabilecek en fazla dizi 30

Çalışma zamanı tamponları, aktivasyonlar ve parçalanma da bellek kullanır; biraz pay bırakın.

Kullanılan API fiyatı

1 milyon girdi token fiyatı $1,00
1 milyon çıktı token fiyatı $5,00
Çıktı token başına istem token 3

Liste fiyatı kaynağı: BerriAI (LiteLLM), 2026-11-02

Aynı istem/çıktı oranında diğer API modelleri

Model 1 milyon token başına Aylık
Gemini 2.5 Flash-Lite $0,17 $175
Claude Haiku 5.5 $0,20 $200
gpt-6-luna $0,20 $200
DeepSeek Flash (off-peak) $0,26 $263
deepseek-flash $0,53 $525
Mistral Large $0,75 $750
Gemini 3.5 Flash-Lite $0,85 $850
Gemini 2.5 Flash $0,85 $850
DeepSeek V4 Pro (off-peak) $0,99 $990
Gemini 3.8 Flash $1,50 $1.500
deepseek-v4-pro $1,98 $1.980
Claude Haiku 4.5 $2,00 $2.000
gpt-6.1-terra $2,00 $2.000
Gemini 2.5 Pro $3,44 $3.438
Claude Sonnet 5.5 $4,00 $4.000
gpt-6.1-sol $4,00 $4.000
Gemini 4 Argon $4,00 $4.000
Gemini 3.1 Pro Preview $4,50 $4.500
Claude Sonnet 4.6 $6,00 $6.000
Claude Opus 5.5 $8,00 $8.000
Claude Opus 5 $10,00 $10.000
Claude Fable 5.1 $20,00 $20.000
gpt-6-astra $20,00 $20.000

Mavi: hacminizde kendi sunucunuzdan ucuz. Turuncu: kendi sunucunuz daha ucuz.

Veri sayfalarındaki tepe değerlere (yoğun, seyreklik yok) ve verimlilik varsayımlarınıza dayalı tahmindir. Gerçek verim sunum motoruna, çekirdeklere ve trafiğe bağlıdır; karar için ölçülmüş bir değer girin.

Bu sayfadaki bir hatayı bildir

Bu hesaplayıcı neyi yanıtlar

GPU kiralayıp açık ağırlıklı bir modeli kendiniz mi çalıştırmalısınız, yoksa token başına ödeme yaptığınız bir API mi kullanmalısınız? Yanıt üç sayıya bağlıdır: GPU’larınızın saniyede gerçekten kaç token ürettiği, onları ne kadar meşgul tuttuğunuz ve ayda kaç tokene ihtiyacınız olduğu. Hesaplayıcı ilk sayıyı GPU veri sayfasından ve modelin yapısından tahmin eder, bunu 1 milyon token maliyetine çevirir ve aynı istem/çıktı token karışımı için bir API fiyatıyla karşılaştırır.

Verim nasıl tahmin edilir

Batch’teki her dizi için birer token üretmek (bir decode adımı), modelin tüm ağırlıklarını GPU belleğinden bir kez okumayı ve her dizinin anahtar/değer (KV) önbelleğini okumayı gerektirir. Ayrıca \( N \) parametreli bir model için token başına yaklaşık \( 2N \) kayan nokta işlemi ve bağlamla büyüyen bir dikkat terimi gerekir (Kaplan vd., 2020, denklem 2.2). Williams, Waterman ve Patterson’ın roofline modeline göre bir adım, iki sınırdan yavaş olanı kadar sürer:

$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$

\( b \) ağırlık başına bayt, \( B \) eşzamanlı dizi sayısı, \( \bar{S} \) decode sırasında ortalama bağlam (istem artı çıktının yarısı), \( k \) token başına KV önbelleği baytı, \( G \) GPU sayısı, \( BW \) bellek bant genişliği, \( F \) seçilen hassasiyette yoğun tepe FLOPS, \( \eta \) bant genişliği verimi ve \( m \) hesaplama kullanım oranıdır (MFU). Token başına KV önbelleği \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \) olur.

İstem önce ve paralel olarak işlenir (prefill), bu yüzden genellikle hesaplama gücüyle sınırlıdır. Pope vd. (2022) ile aynı şekilde, bir batch prefill süresi artı her çıktı tokeni için bir decode adımı kadar sürer; saniye başına çıktı token sayısı \( B \) ile istek başına çıktı tokeninin çarpımının bu süreye bölünmesidir.

Küçük batch’lerde bellek terimi baskındır ve kullanıcı başına hız yaklaşık bant genişliği bölü model boyutudur. Daha büyük batch’ler her ağırlık okumasını daha çok diziye paylaştırır; toplam verim, KV önbelleği ya da hesaplama gücü sınır olana kadar artar.

Belleği model ağırlıkları ile KV önbelleği arasında bölünmüş ve bir bant genişliği borusunun işlem çipini beslediği GPU çizimi
Çözme hızı çoğunlukla GPU'nun model ağırlıklarını bellekten ne kadar hızlı okuyabildiğine bağlıdır, bu yüzden verim tavanını bellek bant genişliği belirler.

Saniye başına tokenden 1 milyon token maliyetine

$$ \text{1 milyon token maliyeti} = \frac{p_{\text{GPU}} \times G}{\text{token/sn} \times 3600 \times u} \times 10^{6} $$

\( p_{\text{GPU}} \) GPU-saat fiyatı, \( u \) ise ortalama kullanım oranıdır: ödenen saatlerin GPU’ların modellenen hızda hizmet verdiği kısmı. Zamanın yarısında meşgul olan bir yapılandırma token başına iki kat öder. API tarafında girdi ve çıktı fiyatları, istek başına istem ve çıktı tokenlerinizle ağırlıklandırılır; böylece iki seçenek aynı tokenler üzerinden fiyatlanır.

Reklam
GPU-saat fiyatı ve GPU sayısını, kullanım oranı ve verime göre ölçekleyip milyon token başına maliyete dönüştüren akış şeması
1 milyon token başına kendi sunucunda maliyet: GPU-saat maliyetinin, kendi kullanım oranında her saat gerçekten ürettiğin token sayısına bölümü.

Başa baş hacmi

Sürekli açık bir yapılandırma her ay aynı tutardadır: GPU-saat fiyatı × GPU sayısı × 730 saat. API faturası ise hacimle birlikte büyür. Başa baş noktası ikisinin eşitlendiği aylık hacimdir, yani sabit aylık maliyetin API token fiyatına bölümü. Bu ancak tek bir yapılandırma o hacmi karşılayabiliyorsa geçerlidir; kapasite aşılınca yeni bir yapılandırma gerekir, grafikteki kendi sunucu çizgisinin basamak basamak yükselmesinin nedeni budur.

Varsayılan değerlerle (Llama 3 70B, BF16, iki H100 SXM GPU, örnek fiyat GPU-saat başına 2,50 USD, 16 eşzamanlı dizi, istek başına 1.500 istem ve 500 çıktı tokeni) tahmin saniyede yaklaşık 397 çıktı tokeni ve %50 kullanım oranında 1 milyon token başına 1,75 USD’dir. 1 milyon token başına 1 USD girdi ve 5 USD çıktı olan örnek bir API fiyatına karşı başa baş noktası ayda yaklaşık 1.825 milyon tokendir.

Reklam
Yükselen API maliyet çizgisinin, başabaş hacminde düz kendi sunucu maliyet çizgisini kestiği çizgi grafiği
Başabaş noktası: aylık hacim kesişim noktasını geçtiğinde, sabit maliyetli GPU, API'ye token başına ödeme yapmaktan daha ucuza gelir.

Kullanılan GPU değerleri

Hazır ayarlar her üreticinin kendi veri sayfasından alınmıştır. Tensör verimi çoğu zaman yapısal seyreklikle verilir; bu, yoğun (dense) hızın iki katıdır. Olağan çıkarım yoğun çalıştığından tablo ve hesaplayıcı yoğun değerleri kullanır.

GPU Bellek (GB) Bant genişliği (GB/s) Yoğun FP16/BF16 TFLOPS Yoğun FP8 TFLOPS
NVIDIA H100 SXM5 80 3,352 989.4 1,978.9
NVIDIA H100 PCIe 80 2,039 756 1,513
NVIDIA H200 SXM 141 4,800 989.5 1,979
NVIDIA A100 80GB SXM 80 2,039 312 —
NVIDIA A100 80GB PCIe 80 1,935 312 —
NVIDIA L40S 48 864 362.05 733
NVIDIA L4 24 300 121 242.5
AMD Instinct MI300X 192 5,300 1,307.45 2,614.9

Listede olmayan bir GPU için “Özel GPU”yu seçip belleğini, bant genişliğini ve yoğun TFLOPS değerini girin.

Tahminin kapsamadıkları

  • Sunum motorları farklıdır: continuous batching, sayfalı KV önbelleği, spekülatif decode ve optimize çekirdekler verimi büyük ölçüde değiştirebilir. Kendi altyapınızı ölçüp sonucu girin.
  • Bir modeli birden çok GPU’ya bölmek, tahminin hesaba katmadığı iletişim süresi ekler.
  • Mixture-of-experts modeli her tokende yalnızca etkin uzmanları okur: hız için etkin parametreleri girin, belleği ise toplamla kontrol edin.
  • Modeller farklı tokenizer kullanır; aynı metin farklı sayıda tokene karşılık gelebilir.
  • Elektrik, personel, yoğun saatler için yedek kapasite ve dışa veri aktarımı, saatlik fiyata eklemediğiniz sürece dahil değildir.

GPU belleğini daha ayrıntılı hesaplamak için GPU VRAM ihtiyacı hesaplayıcısını kullanın.

Kaynaklar ve referanslar

Son güncelleme:

Sektöre Özel kategorisinde en popüler

Tüm Sektöre Özel hesap makinelerini gör