Máy tính chi phí tự vận hành LLM so với API

Máy tính chi phí tự vận hành LLM so với API

Mới nổi AI Skill PRO

Nhập phép tính

Cấu hình GPU

Giá theo giờ chỉ là ví dụ. Hãy nhập đơn giá trong báo giá cloud của bạn hoặc chi phí khấu hao phần cứng tự sở hữu.

Mô hình

Mặc định: Llama 3 70B (80 lớp, kích thước 8.192, 64 đầu attention, 8 đầu key/value). Hãy lấy thông số của mô hình bạn dùng từ file cấu hình hoặc bài báo của nó.

Công cụ tính VRAM GPU cần thiết

Tải công việc

Hiệu suất

Hai giá trị hiệu suất là giả định có thể chỉnh, không phải số đo. Dữ liệu tốt nhất là kết quả benchmark trên chính hệ thống phục vụ của bạn với batch size thực tế.

API để so sánh

Công thức

Chi phí mỗi 1 triệu token=Giá GPU-giờ×Gtoken/giây×3600×u×106\text{Chi phí mỗi 1 triệu token} = \dfrac{\text{Giá GPU-giờ} \times G}{\text{token/giây} \times 3600 \times u} \times 10^{6}
Xem các bước tính (3)
  1. Thời gian một bước decode (roofline)

    tstep=max⁡(Nb+BS‾kηGBW,B(2N+2nlayerS‾d)mGF)t_{\text{step}} = \max\left(\dfrac{N b + B \bar{S} k}{\eta\, G\, BW},\; \dfrac{B (2N + 2\, n_{\text{layer}} \bar{S} d)}{m\, G\, F}\right)

    Mỗi bước decode đọc toàn bộ trọng số (N·b byte) và KV cache của mọi chuỗi (B·S̄·k byte) với băng thông thực η·G·BW, đồng thời thực hiện B·(2N + 2·n_layer·S̄·d) FLOP với năng lực m·G·F. Giới hạn chậm hơn quyết định thời gian của bước (Williams, Waterman & Patterson; Kaplan và cộng sự 2020, phương trình 2.2).

  2. KV cache mỗi token

    k=2nlayernkvdnheadbkvk = 2\, {{n_{\text{layer}}}}\, {{n_{\text{kv}}}}\, \dfrac{d}{{{n_{\text{head}}}}}\, b_{\text{kv}}

    Key và value của mọi lớp: n_kv đầu key/value, mỗi đầu có kích thước d ÷ n_head, mỗi giá trị chiếm b_kv byte.

  3. Khối lượng hòa vốn hằng tháng

    V∗=pGPU×G×730pAPI/106V^{*} = \dfrac{{{p_{\text{GPU}}}} \times G \times 730}{p_{\text{API}} / 10^{6}}

    Chi phí cố định mỗi tháng của một cụm chạy liên tục (giá GPU-giờ × G × 730 giờ) chia cho giá API mỗi token theo tỷ lệ prompt/đầu ra của bạn. Chỉ đạt được khi con số này nhỏ hơn công suất của một cụm.

Thống kê sử dụng

Quảng cáo

Kết quả

Chi phí tự vận hành mỗi 1 triệu token
$1,75
token đầu vào + đầu ra, theo mức sử dụng của bạn
Chi phí API mỗi 1 triệu token
$2,00
Claude Haiku 4.5
Rẻ hơn ở khối lượng hằng tháng của bạn: API
Chênh lệch mỗi tháng: $1.650
Khối lượng hòa vốn (chạy liên tục): 1.825 triệu token mỗi tháng
Token đầu ra mỗi giây
397
ước tính, toàn hệ thống
Tốc độ mỗi người dùng (decode)
31,5
token/giây mỗi chuỗi
Tổng token mỗi giây
1.587
prompt + đầu ra
Chi phí tự vận hành mỗi 1 triệu token đầu ra
$7,00
đã gồm xử lý prompt
Chi phí API mỗi 1 triệu token đầu ra
$8,00
kèm phần prompt tương ứng
Công suất của một cụm triển khai
2.085
triệu token mỗi tháng

Chi phí hằng tháng ở khối lượng của bạn

Khối lượng hằng tháng (triệu token) 1.000
Chi phí GPU mỗi giờ (tất cả GPU) $5,00
Số cụm triển khai cần 1
Tự vận hành, chạy liên tục (730 giờ) $3.650,00
API $2.000,00

Đường chi phí

Chi phí hằng tháng theo khối lượng token hằng tháng 02.0004.0006.000 01.0002.000
Tự vận hành (mỗi bậc = thêm một cụm) API Khối lượng của bạn Điểm hòa vốn

Trục ngang: triệu token mỗi tháng. Trục dọc: đô la Mỹ mỗi tháng.

Ước tính thông lượng

GPU NVIDIA H100 SXM5 80GB × 2
Bước decode bị giới hạn bởi băng thông bộ nhớ
Thời gian bộ nhớ mỗi bước decode (ms)
31,79
Thời gian tính toán mỗi bước decode (ms)
2,88
Thời gian prefill cho một batch (ms) 4.275
Token đầu ra mỗi giây (ước tính) 397
TFLOPS dense đỉnh được dùng (mỗi GPU) 989,4

Kiểm tra bộ nhớ

Trọng số mô hình (GB) 140,0
KV cache mỗi token (MB) 0,328
KV cache, mọi chuỗi ở độ dài tối đa (GB) 10,5
Cần dùng / hiện có (GB)
150,5 / 160
Vừa bộ nhớ GPU có
Số chuỗi tối đa vừa bộ nhớ 30

Bộ đệm runtime, activation và phân mảnh bộ nhớ cũng chiếm chỗ, nên hãy chừa một khoảng dự phòng.

Giá API được dùng

Giá đầu vào mỗi 1 triệu token $1,00
Giá đầu ra mỗi 1 triệu token $5,00
Token prompt trên mỗi token đầu ra 3

Giá niêm yết theo BerriAI (LiteLLM), 2026-11-02

Các mô hình API khác với cùng tỷ lệ prompt và đầu ra

Mô hình Mỗi 1 triệu token Mỗi tháng
Gemini 2.5 Flash-Lite $0,17 $175
Claude Haiku 5.5 $0,20 $200
gpt-6-luna $0,20 $200
DeepSeek Flash (off-peak) $0,26 $263
deepseek-flash $0,53 $525
Mistral Large $0,75 $750
Gemini 3.5 Flash-Lite $0,85 $850
Gemini 2.5 Flash $0,85 $850
DeepSeek V4 Pro (off-peak) $0,99 $990
Gemini 3.8 Flash $1,50 $1.500
deepseek-v4-pro $1,98 $1.980
Claude Haiku 4.5 $2,00 $2.000
gpt-6.1-terra $2,00 $2.000
Gemini 2.5 Pro $3,44 $3.438
Claude Sonnet 5.5 $4,00 $4.000
gpt-6.1-sol $4,00 $4.000
Gemini 4 Argon $4,00 $4.000
Gemini 3.1 Pro Preview $4,50 $4.500
Claude Sonnet 4.6 $6,00 $6.000
Claude Opus 5.5 $8,00 $8.000
Claude Opus 5 $10,00 $10.000
Claude Fable 5.1 $20,00 $20.000
gpt-6-astra $20,00 $20.000

Màu xanh: rẻ hơn tự vận hành ở khối lượng của bạn. Màu cam: tự vận hành rẻ hơn.

Đây là ước tính từ hiệu năng đỉnh trong datasheet (dense, không sparsity) và các giả định hiệu suất của bạn. Thông lượng thực tế phụ thuộc engine phục vụ, kernel và lưu lượng; hãy nhập số đo thực tế trước khi ra quyết định.

Báo lỗi nội dung trang này

Công cụ này trả lời câu hỏi gì

Nên thuê GPU để tự chạy một mô hình mở, hay trả tiền API theo từng token? Câu trả lời phụ thuộc vào ba con số: GPU của bạn thực sự tạo ra bao nhiêu token mỗi giây, bạn giữ chúng bận rộn đến mức nào, và mỗi tháng bạn cần bao nhiêu token. Công cụ ước tính con số đầu tiên từ datasheet của GPU và cấu trúc của mô hình, quy ra chi phí cho mỗi 1 triệu token, rồi so sánh với giá API ở cùng tỷ lệ token prompt và token đầu ra.

Thông lượng được ước tính thế nào

Để sinh một token cho mọi chuỗi trong batch (một bước decode), GPU phải đọc toàn bộ trọng số mô hình từ bộ nhớ một lần, cộng với KV cache (key/value) của từng chuỗi. Bước đó cũng tốn khoảng \( 2N \) phép tính dấu phẩy động cho mỗi token với mô hình có \( N \) tham số, cộng một phần attention tăng theo độ dài ngữ cảnh (Kaplan và cộng sự, 2020, phương trình 2.2). Theo mô hình roofline của Williams, Waterman và Patterson, thời gian một bước bằng giới hạn chậm hơn trong hai giới hạn:

$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$

Trong đó \( b \) là số byte mỗi trọng số, \( B \) là số chuỗi chạy đồng thời, \( \bar{S} \) là độ dài ngữ cảnh trung bình khi decode (prompt cộng một nửa phần đầu ra), \( k \) là số byte KV cache mỗi token, \( G \) là số GPU, \( BW \) là băng thông bộ nhớ, \( F \) là TFLOPS dense đỉnh ở độ chính xác đang dùng, \( \eta \) là hiệu suất băng thông và \( m \) là hiệu suất tính toán (MFU). KV cache mỗi token là \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \).

Phần prompt được xử lý trước và song song (prefill), nên thường bị giới hạn bởi năng lực tính toán. Giống Pope và cộng sự (2022), một batch mất thời gian prefill cộng với một bước decode cho mỗi token đầu ra; số token đầu ra mỗi giây bằng \( B \) nhân số token đầu ra mỗi yêu cầu, chia cho thời gian của batch.

Ở batch nhỏ, phần bộ nhớ chiếm ưu thế và tốc độ mỗi người dùng xấp xỉ băng thông chia cho kích thước mô hình. Batch lớn hơn chia sẻ mỗi lần đọc trọng số cho nhiều chuỗi hơn, nên tổng thông lượng tăng cho tới khi KV cache hoặc năng lực tính toán trở thành giới hạn.

Hình minh họa GPU với bộ nhớ chia giữa trọng số mô hình và bộ đệm KV, cùng một ống băng thông cấp dữ liệu cho chip tính toán
Tốc độ giải mã chủ yếu phụ thuộc vào việc GPU đọc trọng số mô hình từ bộ nhớ nhanh đến đâu, nên băng thông bộ nhớ quyết định giới hạn thông lượng.

Từ token mỗi giây đến chi phí mỗi 1 triệu token

$$ \text{Chi phí mỗi 1 triệu token} = \frac{p_{\text{GPU}} \times G}{\text{token/giây} \times 3600 \times u} \times 10^{6} $$

\( p_{\text{GPU}} \) là giá mỗi GPU-giờ, \( u \) là mức sử dụng trung bình: tỷ lệ số giờ bạn trả tiền mà GPU thực sự phục vụ ở tốc độ đã mô hình hóa. Một cụm chỉ bận một nửa thời gian sẽ trả gấp đôi cho mỗi token. Phía API lấy giá đầu vào và đầu ra, có trọng số theo số token prompt và đầu ra mỗi yêu cầu, để hai bên được tính trên cùng một lượng token.

Quảng cáo
Sơ đồ luồng thể hiện giá mỗi giờ GPU và số lượng GPU, điều chỉnh theo mức sử dụng và thông lượng, chuyển thành chi phí trên mỗi triệu token
Chi phí tự vận hành cho mỗi 1 triệu token: chi phí mỗi giờ GPU chia cho số token thực sự tạo ra mỗi giờ theo mức sử dụng của bạn.

Khối lượng hòa vốn

Một cụm chạy liên tục tốn cùng một khoản mỗi tháng: giá GPU-giờ × số GPU × 730 giờ. Hóa đơn API thì tăng theo khối lượng. Điểm hòa vốn là khối lượng hằng tháng mà hai bên bằng nhau, tức chi phí cố định hằng tháng chia cho giá API mỗi token. Con số này chỉ có ý nghĩa khi một cụm phục vụ được khối lượng đó; vượt quá công suất thì bạn cần thêm cụm, vì vậy đường tự vận hành trên biểu đồ tăng theo bậc.

Với dữ liệu mặc định (Llama 3 70B BF16 trên hai GPU H100 SXM, giá ví dụ 2,50 USD mỗi GPU-giờ, 16 chuỗi đồng thời, 1.500 token prompt và 500 token đầu ra mỗi yêu cầu), ước tính đạt khoảng 397 token đầu ra mỗi giây và 1,75 USD cho mỗi 1 triệu token ở mức sử dụng 50%. So với giá API ví dụ 1 USD đầu vào và 5 USD đầu ra mỗi 1 triệu token, điểm hòa vốn vào khoảng 1.825 triệu token mỗi tháng.

Quảng cáo
Biểu đồ đường trong đó đường chi phí API tăng dần cắt đường chi phí tự vận hành nằm ngang tại điểm hòa vốn
Điểm hòa vốn: khi khối lượng hằng tháng vượt qua điểm giao nhau, GPU chi phí cố định sẽ rẻ hơn so với trả API theo từng token.

Thông số GPU được dùng

Các cấu hình có sẵn dùng datasheet của chính nhà sản xuất. Hiệu năng tensor thường được công bố kèm structured sparsity, gấp đôi mức dense; suy luận thông thường chạy dense, nên bảng và công cụ đều dùng số dense.

GPU Bộ nhớ (GB) Băng thông (GB/s) TFLOPS FP16/BF16 dense TFLOPS FP8 dense
NVIDIA H100 SXM5 80 3,352 989.4 1,978.9
NVIDIA H100 PCIe 80 2,039 756 1,513
NVIDIA H200 SXM 141 4,800 989.5 1,979
NVIDIA A100 80GB SXM 80 2,039 312 —
NVIDIA A100 80GB PCIe 80 1,935 312 —
NVIDIA L40S 48 864 362.05 733
NVIDIA L4 24 300 121 242.5
AMD Instinct MI300X 192 5,300 1,307.45 2,614.9

Nếu GPU của bạn không có trong danh sách, hãy chọn GPU tự nhập và điền bộ nhớ, băng thông cùng TFLOPS dense của nó.

Những gì ước tính chưa tính đến

  • Mỗi engine phục vụ một khác: continuous batching, paged KV cache, speculative decoding và kernel tối ưu có thể làm thông lượng thay đổi đáng kể. Hãy đo trên hệ thống của bạn và nhập kết quả.
  • Chia mô hình qua nhiều GPU sinh thêm thời gian truyền thông mà ước tính bỏ qua.
  • Mô hình mixture-of-experts chỉ đọc các expert đang hoạt động cho mỗi token: hãy nhập số tham số hoạt động để tính tốc độ, nhưng kiểm tra bộ nhớ với tổng số tham số.
  • Các mô hình dùng tokenizer khác nhau, nên cùng một đoạn văn có thể ra số token khác nhau.
  • Điện năng, nhân sự, dung lượng dự phòng cho giờ cao điểm và phí truyền dữ liệu ra ngoài chưa được tính, trừ khi bạn cộng chúng vào giá theo giờ.

Để tính bộ nhớ GPU chi tiết hơn, hãy dùng công cụ tính VRAM GPU cần thiết.

Nguồn tham khảo

Cập nhật lần cuối:

Phổ biến nhất trong Chuyên ngành

Xem tất cả máy tính Chuyên ngành