На какой вопрос отвечает калькулятор
Арендовать GPU и запускать модель с открытыми весами самому или платить API за каждый токен? Ответ зависит от трёх чисел: сколько токенов в секунду реально выдают ваши GPU, насколько плотно они загружены и сколько токенов нужно в месяц. Калькулятор оценивает первое число по спецификации GPU и устройству модели, переводит его в стоимость 1 млн токенов и сравнивает с ценой API при том же соотношении токенов промпта и выхода.
Как оценивается производительность
Чтобы сгенерировать по одному токену для каждой последовательности батча (шаг декодирования), нужно один раз прочитать из памяти GPU все веса модели и KV-кэш (ключи и значения) каждой последовательности. Кроме того, на токен приходится около \( 2N \) операций с плавающей точкой для модели с \( N \) параметрами плюс слагаемое внимания, растущее с длиной контекста (Kaplan и др., 2020, ур. 2.2). Согласно модели roofline Уильямса, Уотермана и Паттерсона, шаг длится столько, сколько более медленное из двух ограничений:
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$Здесь \( b \) — байт на вес, \( B \) — число одновременных последовательностей, \( \bar{S} \) — средний контекст при декодировании (промпт плюс половина выхода), \( k \) — байт KV-кэша на токен, \( G \) — число GPU, \( BW \) — пропускная способность памяти, \( F \) — пиковые FLOPS (dense) для выбранной точности, \( \eta \) — эффективность использования ПСП, \( m \) — загрузка вычислений (MFU). KV-кэш на токен равен \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \).
Промпт обрабатывается сначала и параллельно (prefill), поэтому обычно упирается в вычисления. Как у Pope и др. (2022), батч занимает время prefill плюс один шаг декодирования на каждый выходной токен, а выходные токены в секунду равны \( B \), умноженному на выходные токены запроса и делённому на время батча.
При малых батчах доминирует слагаемое памяти, и скорость на пользователя близка к ПСП, делённой на размер модели. Большие батчи делят каждое чтение весов между большим числом последовательностей, поэтому общая производительность растёт, пока пределом не станут KV-кэш или вычисления.
От токенов в секунду к стоимости 1 млн токенов
$$ \text{Стоимость 1 млн токенов} = \frac{p_{\text{GPU}} \times G}{\text{токенов/с} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \) — цена GPU-часа, \( u \) — средняя загрузка, то есть доля оплаченных часов, в которые GPU обслуживают запросы с расчётной скоростью. Конфигурация, занятая половину времени, платит за токен вдвое больше. Для API цены входа и выхода взвешиваются по вашим токенам промпта и выхода на запрос, так что обе стороны считаются по одним и тем же токенам.
Объём безубыточности
Круглосуточная конфигурация каждый месяц стоит одинаково: цена GPU-часа × число GPU × 730 часов. Счёт за API растёт вместе с объёмом. Точка безубыточности — месячный объём, при котором затраты равны: фиксированные месячные затраты, делённые на цену API за токен. Она имеет смысл, только если одна конфигурация способна обслужить такой объём; сверх её мощности нужна ещё одна конфигурация, поэтому линия своей инфраструктуры на графике растёт ступенями.
При значениях по умолчанию (Llama 3 70B в BF16 на двух H100 SXM по примерной цене 2,50 USD за GPU-час, 16 одновременных последовательностей, 1500 токенов промпта и 500 выходных токенов на запрос) оценка — около 397 выходных токенов в секунду и 1,75 USD за 1 млн токенов при загрузке 50 %. По сравнению с примерной ценой API 1 USD за вход и 5 USD за выход на 1 млн токенов безубыточность наступает примерно при 1825 млн токенов в месяц.
Какие данные GPU используются
Предустановки взяты из спецификаций самих производителей. Производительность тензорных ядер часто указывают со структурированной разреженностью — это вдвое больше плотного режима; обычный инференс идёт в плотном режиме, поэтому таблица и калькулятор используют значения dense.
| GPU | Память (ГБ) | ПСП (ГБ/с) | TFLOPS FP16/BF16 (dense) | TFLOPS FP8 (dense) |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
Если вашего GPU нет в списке, выберите «Свой GPU» и введите его память, ПСП и TFLOPS (dense).
Что оценка не учитывает
- Движки инференса различаются: continuous batching, страничный KV-кэш, спекулятивное декодирование и оптимизированные ядра заметно меняют производительность. Измерьте свой стек и введите результат.
- Разбиение модели на несколько GPU добавляет время на обмен данными, которое оценка не учитывает.
- Модель mixture-of-experts на каждом токене читает только активных экспертов: для скорости вводите активные параметры, а память проверяйте по общему числу.
- У моделей разные токенизаторы, поэтому один и тот же текст может давать разное число токенов.
- Электроэнергия, работа персонала, резерв под пики и исходящий трафик не учтены, если вы не добавите их к почасовой цене.
Чтобы подробнее рассчитать память GPU, воспользуйтесь калькулятором требуемой видеопамяти GPU.