이 계산기가 답하는 질문
GPU를 빌려 오픈 웨이트 모델을 직접 운영할까, 아니면 토큰당 요금을 내고 API를 쓸까? 답은 세 가지 숫자에 달려 있습니다. GPU가 실제로 초당 몇 토큰을 만들어 내는지, 얼마나 꾸준히 바쁘게 돌리는지, 그리고 매달 몇 토큰이 필요한지입니다. 이 계산기는 첫 번째 값을 GPU 데이터시트와 모델 구조로 추정하고, 100만 토큰당 비용으로 바꾼 뒤 같은 프롬프트·출력 토큰 비율의 API 가격과 비교합니다.
처리량 추정 방법
배치의 모든 시퀀스에 대해 토큰을 하나씩 생성하는 디코드 한 단계에서는 모델 가중치 전체를 GPU 메모리에서 한 번 읽고, 시퀀스마다 키/값(KV) 캐시도 읽습니다. 연산량은 파라미터가 \( N \)개인 모델에서 토큰당 약 \( 2N \)회의 부동소수점 연산에, 문맥 길이에 따라 커지는 어텐션 항이 더해집니다(Kaplan 외, 2020, 식 2.2). Williams, Waterman, Patterson의 루프라인 모델에 따르면 한 단계의 시간은 두 한계 중 더 느린 쪽으로 정해집니다.
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$\( b \)는 가중치당 바이트, \( B \)는 동시 처리 시퀀스 수, \( \bar{S} \)는 디코드 중 평균 문맥 길이(프롬프트 + 출력의 절반), \( k \)는 토큰당 KV 캐시 바이트, \( G \)는 GPU 수, \( BW \)는 메모리 대역폭, \( F \)는 해당 정밀도의 dense 최대 FLOPS, \( \eta \)는 대역폭 효율, \( m \)은 연산 효율(MFU)입니다. 토큰당 KV 캐시는 \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \)입니다.
프롬프트는 먼저 한꺼번에 병렬로 처리되므로(프리필) 보통 연산 성능이 병목입니다. Pope 외(2022)와 같이 배치 하나의 시간은 프리필 시간에 출력 토큰마다 디코드 한 단계를 더한 값이고, 초당 출력 토큰은 \( B \) × 요청당 출력 토큰 ÷ 배치 시간입니다.
배치가 작으면 메모리 항이 지배적이어서 사용자당 속도는 대략 대역폭 ÷ 모델 크기가 됩니다. 배치를 키우면 가중치 읽기 한 번을 더 많은 시퀀스가 나눠 쓰므로 KV 캐시나 연산 성능이 한계가 될 때까지 전체 처리량이 늘어납니다.
초당 토큰에서 100만 토큰당 비용으로
$$ \text{100만 토큰당 비용} = \frac{p_{\text{GPU}} \times G}{\text{토큰/초} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \)는 GPU 1시간당 가격, \( u \)는 평균 가동률로, 비용을 낸 시간 중 GPU가 모델링한 속도로 서비스하는 비율입니다. 절반만 바쁜 구성은 토큰당 두 배를 냅니다. API 쪽은 입력·출력 가격을 요청당 프롬프트·출력 토큰 수로 가중하므로 두 방식을 같은 토큰 기준으로 비교합니다.
손익분기 사용량
상시 가동 구성은 매달 같은 비용이 듭니다. GPU 시간당 가격 × GPU 수 × 730시간입니다. API 요금은 사용량에 따라 늘어납니다. 손익분기점은 두 비용이 같아지는 월 사용량, 즉 월 고정비 ÷ API 토큰당 가격입니다. 다만 구성 하나가 그 사용량을 처리할 수 있을 때만 의미가 있습니다. 처리 용량을 넘으면 구성을 하나 더 늘려야 하므로 차트의 자체 호스팅 선이 계단처럼 올라갑니다.
기본값(Llama 3 70B를 BF16으로 H100 SXM 2장에 올리고, 예시 가격 GPU 1시간당 2.50 USD, 동시 시퀀스 16개, 요청당 프롬프트 1,500·출력 500 토큰)에서는 초당 약 397 출력 토큰, 가동률 50%에서 100만 토큰당 1.75 USD로 추정됩니다. 예시 API 가격(100만 토큰당 입력 1 USD, 출력 5 USD)과 비교하면 손익분기점은 월 약 18억 2,500만 토큰입니다.
사용한 GPU 수치
프리셋은 각 제조사 데이터시트의 값입니다. 텐서 연산 성능은 구조적 희소성을 적용한 값으로 발표되는 경우가 많은데, 이는 dense 성능의 두 배입니다. 일반 추론은 dense로 실행되므로 표와 계산기는 dense 값을 씁니다.
| GPU | 메모리(GB) | 대역폭(GB/s) | FP16/BF16 TFLOPS(dense) | FP8 TFLOPS(dense) |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
목록에 없는 GPU는 '사용자 지정 GPU'를 고르고 메모리, 대역폭, dense TFLOPS를 입력하세요.
추정에 포함되지 않는 것
- 서빙 엔진마다 차이가 큽니다. continuous batching, paged KV 캐시, 추측 디코딩, 최적화된 커널에 따라 처리량이 크게 달라지므로 자체 환경에서 측정한 값을 입력하세요.
- 모델을 여러 GPU에 나누면 통신 시간이 추가되지만 추정에는 반영하지 않습니다.
- Mixture-of-Experts 모델은 토큰마다 활성 전문가만 읽습니다. 속도에는 활성 파라미터 수를 넣고, 메모리는 전체 파라미터 수로 확인하세요.
- 모델마다 토크나이저가 달라 같은 문장도 토큰 수가 다를 수 있습니다.
- 전력, 인건비, 피크 대비 예비 용량, 외부 전송 비용은 시간당 가격에 더하지 않는 한 포함되지 않습니다.
GPU 메모리를 더 자세히 산정하려면 GPU 필요 VRAM 계산기를 사용하세요.