рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб LLM рдмрдирд╛рдо API рд▓рд╛рдЧрдд рдХреИрд▓рдХреБрд▓реЗрдЯрд░

рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб LLM рдмрдирд╛рдо API рд▓рд╛рдЧрдд рдХреИрд▓рдХреБрд▓реЗрдЯрд░

рд▓реЛрдХрдкреНрд░рд┐рдп AI Skill PRO

рдЧрдгрдирд╛ рджрд░реНрдЬ рдХрд░реЗрдВ

GPU рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ

рдкреНрд░рддрд┐ рдШрдВрдЯрд╛ рдХреАрдордд рдХреЗрд╡рд▓ рдЙрджрд╛рд╣рд░рдг рд╣реИред рдЕрдкрдиреЗ рдХреНрд▓рд╛рдЙрдб рдХреЛрдЯреЗрд╢рди рдХреА рджрд░ рдпрд╛ рдЕрдкрдиреЗ рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдХреА рдкрд░рд┐рд╢реЛрдзрд┐рдд рд▓рд╛рдЧрдд рджрд░реНрдЬ рдХрд░реЗрдВред

рдореЙрдбрд▓

рдбрд┐рдлрд╝реЙрд▓реНрдЯ: Llama 3 70B (80 рд▓реЗрдпрд░, рдбрд╛рдЗрдореЗрдВрд╢рди 8,192, 64 рд╣реЗрдб, 8 рдХреА/рд╡реИрд▓реНрдпреВ рд╣реЗрдб)ред рдЕрдкрдиреЗ рдореЙрдбрд▓ рдХреЗ рдорд╛рди рдЙрд╕рдХреА рдХреЙрдиреНрдлрд╝рд┐рдЧ рдлрд╝рд╛рдЗрд▓ рдпрд╛ рдкреЗрдкрд░ рд╕реЗ рд▓реЗрдВред

GPU VRAM рдЖрд╡рд╢реНрдпрдХрддрд╛ рдХреИрд▓рдХреБрд▓реЗрдЯрд░

рд╡рд░реНрдХрд▓реЛрдб

рджрдХреНрд╖рддрд╛

рджреЛрдиреЛрдВ рджрдХреНрд╖рддрд╛ рдорд╛рди рдмрджрд▓реЗ рдЬрд╛ рд╕рдХрдиреЗ рд╡рд╛рд▓реА рдорд╛рдиреНрдпрддрд╛рдПрдБ рд╣реИрдВ, рдорд╛рдк рдирд╣реАрдВред рд╕рдмрд╕реЗ рдЕрдЪреНрдЫрд╛ рдЗрдирдкреБрдЯ рдЕрдкрдиреЗ рдмреИрдЪ рд╕рд╛рдЗрдЬрд╝ рдкрд░ рдЕрдкрдиреЗ рд╕рд░реНрд╡рд┐рдВрдЧ рд╕реНрдЯреИрдХ рдХрд╛ рдмреЗрдВрдЪрдорд╛рд░реНрдХ рд╣реИред

рддреБрд▓рдирд╛ рдХреЗ рд▓рд┐рдП API

рд╕реВрддреНрд░ (рдлреЙрд░реНрдореВрд▓рд╛)

рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рд▓рд╛рдЧрдд=рдкреНрд░рддрд┐ GPU-рдШрдВрдЯрд╛ рдХреАрдордд├ЧGрдЯреЛрдХрди/рд╕реЗрдХрдВрдб├Ч3600├Чu├Ч106\text{рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рд▓рд╛рдЧрдд} = \dfrac{\text{рдкреНрд░рддрд┐ GPU-рдШрдВрдЯрд╛ рдХреАрдордд} \times G}{\text{рдЯреЛрдХрди/рд╕реЗрдХрдВрдб} \times 3600 \times u} \times 10^{6}
рдЧрдгрдирд╛ рдХреЗ рдЪрд░рдг рджрд┐рдЦрд╛рдПрдБ (3)
  1. рдбрд┐рдХреЛрдб рд╕реНрдЯреЗрдк рдХрд╛ рд╕рдордп (рд░реВрдлрд╝рд▓рд╛рдЗрди)

    tstep=maxтБб(Nb+BSтА╛k╬╖GBW,B(2N+2nlayerSтА╛d)mGF)t_{\text{step}} = \max\left(\dfrac{N b + B \bar{S} k}{\eta\, G\, BW},\; \dfrac{B (2N + 2\, n_{\text{layer}} \bar{S} d)}{m\, G\, F}\right)

    рдПрдХ рдбрд┐рдХреЛрдб рд╕реНрдЯреЗрдк рд╡реЗрдЯ (N┬╖b рдмрд╛рдЗрдЯ) рдФрд░ рд╕рднреА рд╕реАрдХреНрд╡реЗрдВрд╕ рдХрд╛ KV рдХреИрд╢ (B┬╖S╠Д┬╖k рдмрд╛рдЗрдЯ) рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдмреИрдВрдбрд╡рд┐рдбреНрде ╬╖┬╖G┬╖BW рдкрд░ рдкрдврд╝рддрд╛ рд╣реИ, рдФрд░ B┬╖(2N + 2┬╖n_layer┬╖S╠Д┬╖d) FLOP рдХреА рдЧрдгрдирд╛ m┬╖G┬╖F рдкрд░ рдХрд░рддрд╛ рд╣реИред рдЬреЛ рдзреАрдорд╛ рд╣реЛ, рд╡рд╣реА рд╕реНрдЯреЗрдк рдХрд╛ рд╕рдордп рддрдп рдХрд░рддрд╛ рд╣реИ (Williams, Waterman рдФрд░ Patterson; Kaplan рдЖрджрд┐ 2020, рд╕рдореАрдХрд░рдг 2.2)ред

  2. рдкреНрд░рддрд┐ рдЯреЛрдХрди KV рдХреИрд╢

    k=2nlayernkvdnheadbkvk = 2\, {{n_{\text{layer}}}}\, {{n_{\text{kv}}}}\, \dfrac{d}{{{n_{\text{head}}}}}\, b_{\text{kv}}

    рд╣рд░ рд▓реЗрдпрд░ рдХреА рдХреА рдФрд░ рд╡реИрд▓реНрдпреВ: d ├╖ n_head рдЖрдХрд╛рд░ рдХреЗ n_kv рдХреА/рд╡реИрд▓реНрдпреВ рд╣реЗрдб, рд╣рд░ рдорд╛рди рдХреЗ рд▓рд┐рдП b_kv рдмрд╛рдЗрдЯред

  3. рдорд╛рд╕рд┐рдХ рдмреНрд░реЗрдХ-рдИрд╡рди рд╡реЙрд▓реНрдпреВрдо

    VтИЧ=pGPU├ЧG├Ч730pAPI/106V^{*} = \dfrac{{{p_{\text{GPU}}}} \times G \times 730}{p_{\text{API}} / 10^{6}}

    рд╣рдореЗрд╢рд╛ рдЪрд╛рд▓реВ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдХреА рддрдп рдорд╛рд╕рд┐рдХ рд▓рд╛рдЧрдд (рдкреНрд░рддрд┐ GPU-рдШрдВрдЯрд╛ рдХреАрдордд ├Ч G ├Ч 730 рдШрдВрдЯреЗ) рдХреЛ рдЖрдкрдХреЗ рдкреНрд░реЙрдореНрдкреНрдЯ/рдЖрдЙрдЯрдкреБрдЯ рдЕрдиреБрдкрд╛рдд рд╕реЗ рднрд╛рд░рд┐рдд API рдкреНрд░рддрд┐ рдЯреЛрдХрди рдХреАрдордд рд╕реЗ рднрд╛рдЧ рджреЗрдВред рдпрд╣ рддрднреА рд╕рдВрднрд╡ рд╣реИ рдЬрдм рдпрд╣ рдПрдХ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдХреА рдХреНрд╖рдорддрд╛ рд╕реЗ рдХрдо рд╣реЛред

рдЙрдкрдпреЛрдЧ рдЖрдБрдХрдбрд╝реЗ

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдкрд░рд┐рдгрд╛рдо

рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб рд▓рд╛рдЧрдд рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди
$1.75
рдЗрдирдкреБрдЯ + рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди, рдЖрдкрдХреЗ рдЙрдкрдпреЛрдЧ рд╕реНрддрд░ рдкрд░
API рд▓рд╛рдЧрдд рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди
$2.00
Claude Haiku 4.5
рдЖрдкрдХреЗ рдорд╛рд╕рд┐рдХ рд╡реЙрд▓реНрдпреВрдо рдкрд░ рд╕рд╕реНрддрд╛: API
рдорд╛рд╕рд┐рдХ рдЕрдВрддрд░: $1,650
рдмреНрд░реЗрдХ-рдИрд╡рди рд╡реЙрд▓реНрдпреВрдо (рд╣рдореЗрд╢рд╛ рдЪрд╛рд▓реВ): 1,825 рдорд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдкреНрд░рддрд┐ рдорд╛рд╣
рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб
397
рдЕрдиреБрдорд╛рди, рдкреВрд░рд╛ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ
рдкреНрд░рддрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдЧрддрд┐ (рдбрд┐рдХреЛрдб)
31.5
рдЯреЛрдХрди/рд╕реЗрдХрдВрдб рдкреНрд░рддрд┐ рд╕реАрдХреНрд╡реЗрдВрд╕
рдХреБрд▓ рдЯреЛрдХрди рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб
1,587
рдкреНрд░реЙрдореНрдкреНрдЯ + рдЖрдЙрдЯрдкреБрдЯ
рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб рд▓рд╛рдЧрдд рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди
$7.00
рдкреНрд░реЙрдореНрдкреНрдЯ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рд╕рд╣рд┐рдд
API рд▓рд╛рдЧрдд рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди
$8.00
рдЬрд╝рд░реВрд░реА рдкреНрд░реЙрдореНрдкреНрдЯ рд╕рд╣рд┐рдд
рдПрдХ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдХреА рдХреНрд╖рдорддрд╛
2,085
рдорд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдкреНрд░рддрд┐ рдорд╛рд╣

рдЖрдкрдХреЗ рд╡реЙрд▓реНрдпреВрдо рдкрд░ рдорд╛рд╕рд┐рдХ рд▓рд╛рдЧрдд

рдорд╛рд╕рд┐рдХ рд╡реЙрд▓реНрдпреВрдо (рдорд┐рд▓рд┐рдпрди рдЯреЛрдХрди) 1,000
рдкреНрд░рддрд┐ рдШрдВрдЯрд╛ GPU рд▓рд╛рдЧрдд (рд╕рднреА GPU) $5.00
рдЬрд╝рд░реВрд░реА рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ 1
рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб, рд╣рдореЗрд╢рд╛ рдЪрд╛рд▓реВ (730 рдШрдВрдЯреЗ) $3,650.00
API $2,000.00

рд▓рд╛рдЧрдд рд╡рдХреНрд░

рдорд╛рд╕рд┐рдХ рдЯреЛрдХрди рд╡реЙрд▓реНрдпреВрдо рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдорд╛рд╕рд┐рдХ рд▓рд╛рдЧрдд 02,0004,0006,000 01,0002,000
рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб (рд╣рд░ рд╕реАрдврд╝реА = рдПрдХ рдФрд░ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ) API рдЖрдкрдХрд╛ рд╡реЙрд▓реНрдпреВрдо рдмреНрд░реЗрдХ-рдИрд╡рди рдмрд┐рдВрджреБ

рдХреНрд╖реИрддрд┐рдЬ рдЕрдХреНрд╖: рдорд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдкреНрд░рддрд┐ рдорд╛рд╣ред рдКрд░реНрдзреНрд╡рд╛рдзрд░ рдЕрдХреНрд╖: рдЕрдореЗрд░рд┐рдХреА рдбреЙрд▓рд░ рдкреНрд░рддрд┐ рдорд╛рд╣ред

рдереНрд░реВрдкреБрдЯ рдЕрдиреБрдорд╛рди

GPU NVIDIA H100 SXM5 80GB ├Ч 2
рдбрд┐рдХреЛрдб рдХреА рд╕реАрдорд╛ рдореЗрдореЛрд░реА рдмреИрдВрдбрд╡рд┐рдбреНрде
рдкреНрд░рддрд┐ рдбрд┐рдХреЛрдб рд╕реНрдЯреЗрдк рдореЗрдореЛрд░реА рд╕рдордп (ms)
31.79
рдкреНрд░рддрд┐ рдбрд┐рдХреЛрдб рд╕реНрдЯреЗрдк рдХрдВрдкреНрдпреВрдЯ рд╕рдордп (ms)
2.88
рдПрдХ рдмреИрдЪ рдХрд╛ рдкреНрд░реАрдлрд╝рд┐рд▓ рд╕рдордп (ms) 4,275
рдЕрдиреБрдорд╛рдирд┐рдд рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб 397
рдкреНрд░рдпреБрдХреНрдд рдкреАрдХ рдбреЗрдВрд╕ TFLOPS (рдкреНрд░рддрд┐ GPU) 989.4

рдореЗрдореЛрд░реА рдЬрд╛рдБрдЪ

рдореЙрдбрд▓ рд╡реЗрдЯ (GB) 140.0
рдкреНрд░рддрд┐ рдЯреЛрдХрди KV рдХреИрд╢ (MB) 0.328
KV рдХреИрд╢, рд╕рднреА рд╕реАрдХреНрд╡реЗрдВрд╕ рдкреВрд░реА рд▓рдВрдмрд╛рдИ рдкрд░ (GB) 10.5
рдЬрд╝рд░реВрд░рдд рдмрдирд╛рдо рдЙрдкрд▓рдмреНрдз (GB)
150.5 / 160
GPU рдореЗрдореЛрд░реА рдореЗрдВ рд╕рдорд╛рддрд╛ рд╣реИ рд╣рд╛рдБ
рдЕрдзрд┐рдХрддрдо рд╕рдорд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕реАрдХреНрд╡реЗрдВрд╕ 30

рд░рдирдЯрд╛рдЗрдо рдмрдлрд╝рд░, рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдФрд░ рдлрд╝реНрд░реИрдЧрдореЗрдВрдЯреЗрд╢рди рднреА рдореЗрдореЛрд░реА рд▓реЗрддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдХреБрдЫ рдЧреБрдВрдЬрд╛рдЗрд╢ рд░рдЦреЗрдВред

рдЙрдкрдпреЛрдЧ рдХреА рдЧрдИ API рдХреАрдордд

рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЗрдирдкреБрдЯ рдЯреЛрдХрди рдХреАрдордд $1.00
рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдХреАрдордд $5.00
рдкреНрд░рддрд┐ рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдкреНрд░реЙрдореНрдкреНрдЯ рдЯреЛрдХрди 3

рд╕реВрдЪреА рдХреАрдордд рдХрд╛ рд╕реНрд░реЛрдд: BerriAI (LiteLLM), 2026-11-02

рд╕рдорд╛рди рдкреНрд░реЙрдореНрдкреНрдЯ рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдЕрдиреБрдкрд╛рдд рдкрд░ рдЕрдиреНрдп API рдореЙрдбрд▓

рдореЙрдбрд▓ рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рдкреНрд░рддрд┐ рдорд╛рд╣
Gemini 2.5 Flash-Lite $0.17 $175
Claude Haiku 5.5 $0.20 $200
gpt-6-luna $0.20 $200
DeepSeek Flash (off-peak) $0.26 $263
deepseek-flash $0.53 $525
Mistral Large $0.75 $750
Gemini 3.5 Flash-Lite $0.85 $850
Gemini 2.5 Flash $0.85 $850
DeepSeek V4 Pro (off-peak) $0.99 $990
Gemini 3.8 Flash $1.50 $1,500
deepseek-v4-pro $1.98 $1,980
Claude Haiku 4.5 $2.00 $2,000
gpt-6.1-terra $2.00 $2,000
Gemini 2.5 Pro $3.44 $3,438
Claude Sonnet 5.5 $4.00 $4,000
gpt-6.1-sol $4.00 $4,000
Gemini 4 Argon $4.00 $4,000
Gemini 3.1 Pro Preview $4.50 $4,500
Claude Sonnet 4.6 $6.00 $6,000
Claude Opus 5.5 $8.00 $8,000
Claude Opus 5 $10.00 $10,000
Claude Fable 5.1 $20.00 $20,000
gpt-6-astra $20.00 $20,000

рдиреАрд▓рд╛: рдЖрдкрдХреЗ рд╡реЙрд▓реНрдпреВрдо рдкрд░ рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯрд┐рдВрдЧ рд╕реЗ рд╕рд╕реНрддрд╛ред рдирд╛рд░рдВрдЧреА: рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯрд┐рдВрдЧ рд╕рд╕реНрддреА рд╣реИред

рдпреЗ рдЕрдиреБрдорд╛рди рдбреЗрдЯрд╛рд╢реАрдЯ рдХреЗ рдкреАрдХ рдорд╛рди (рдбреЗрдВрд╕, рд╕реНрдкрд╛рд░реНрд╕рд┐рдЯреА рдХреЗ рдмрд┐рдирд╛) рдФрд░ рдЖрдкрдХреА рджрдХреНрд╖рддрд╛ рдорд╛рдиреНрдпрддрд╛рдУрдВ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реИрдВред рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдереНрд░реВрдкреБрдЯ рд╕рд░реНрд╡рд┐рдВрдЧ рдЗрдВрдЬрди, рдХрд░реНрдиреЗрд▓ рдФрд░ рдЯреНрд░реИрдлрд╝рд┐рдХ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИ; рдирд┐рд░реНрдгрдп рдХреЗ рд▓рд┐рдП рдорд╛рдкрд╛ рдЧрдпрд╛ рдорд╛рди рджрд░реНрдЬ рдХрд░реЗрдВред

рдЗрд╕ рдкреЗрдЬ рдкрд░ рддреНрд░реБрдЯрд┐ рдХреА рд░рд┐рдкреЛрд░реНрдЯ рдХрд░реЗрдВ

рдпрд╣ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХрд┐рд╕ рд╕рд╡рд╛рд▓ рдХрд╛ рдЬрд╡рд╛рдм рджреЗрддрд╛ рд╣реИ

рдХреНрдпрд╛ GPU рдХрд┐рд░рд╛рдпреЗ рдкрд░ рд▓реЗрдХрд░ рдУрдкрди-рд╡реЗрдЯ рдореЙрдбрд▓ рдЦреБрдж рдЪрд▓рд╛рдирд╛ рдЪрд╛рд╣рд┐рдП, рдпрд╛ рдкреНрд░рддрд┐ рдЯреЛрдХрди рднреБрдЧрддрд╛рди рд╡рд╛рд▓рд╛ API рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП? рдЬрд╡рд╛рдм рддреАрди рд╕рдВрдЦреНрдпрд╛рдУрдВ рдкрд░ рдЯрд┐рдХрд╛ рд╣реИ: рдЖрдкрдХреЗ GPU рдЕрд╕рд▓ рдореЗрдВ рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб рдХрд┐рддрдиреЗ рдЯреЛрдХрди рдмрдирд╛рддреЗ рд╣реИрдВ, рдЖрдк рдЙрдиреНрд╣реЗрдВ рдХрд┐рддрдирд╛ рд╡реНрдпрд╕реНрдд рд░рдЦрддреЗ рд╣реИрдВ, рдФрд░ рд╣рд░ рдорд╣реАрдиреЗ рдХрд┐рддрдиреЗ рдЯреЛрдХрди рдЪрд╛рд╣рд┐рдПред рдпрд╣ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдкрд╣рд▓реА рд╕рдВрдЦреНрдпрд╛ рдХрд╛ рдЕрдиреБрдорд╛рди GPU рдХреА рдбреЗрдЯрд╛рд╢реАрдЯ рдФрд░ рдореЙрдбрд▓ рдХреА рд╕рдВрд░рдЪрдирд╛ рд╕реЗ рд▓рдЧрд╛рддрд╛ рд╣реИ, рдЙрд╕реЗ рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рд▓рд╛рдЧрдд рдореЗрдВ рдмрджрд▓рддрд╛ рд╣реИ рдФрд░ рдЙрд╕реА рдкреНрд░реЙрдореНрдкреНрдЯ/рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдЕрдиреБрдкрд╛рдд рдкрд░ API рдХреАрдордд рд╕реЗ рддреБрд▓рдирд╛ рдХрд░рддрд╛ рд╣реИред

рдереНрд░реВрдкреБрдЯ рдХрд╛ рдЕрдиреБрдорд╛рди рдХреИрд╕реЗ рд▓рдЧрддрд╛ рд╣реИ

рдмреИрдЪ рдХреЗ рд╣рд░ рд╕реАрдХреНрд╡реЗрдВрд╕ рдХреЗ рд▓рд┐рдП рдПрдХ-рдПрдХ рдЯреЛрдХрди рдмрдирд╛рдиреЗ (рдПрдХ рдбрд┐рдХреЛрдб рд╕реНрдЯреЗрдк) рдореЗрдВ рдореЙрдбрд▓ рдХреЗ рд╕рд╛рд░реЗ рд╡реЗрдЯ GPU рдореЗрдореЛрд░реА рд╕реЗ рдПрдХ рдмрд╛рд░ рдкрдврд╝рдиреЗ рдкрдбрд╝рддреЗ рд╣реИрдВ, рд╕рд╛рде рд╣реА рд╣рд░ рд╕реАрдХреНрд╡реЗрдВрд╕ рдХрд╛ рдХреА/рд╡реИрд▓реНрдпреВ (KV) рдХреИрд╢ рднреАред \( N \) рдкреИрд░рд╛рдореАрдЯрд░ рд╡рд╛рд▓реЗ рдореЙрдбрд▓ рдореЗрдВ рдкреНрд░рддрд┐ рдЯреЛрдХрди рд▓рдЧрднрдЧ \( 2N \) рдлрд╝реНрд▓реЛрдЯрд┐рдВрдЧ-рдкреЙрдЗрдВрдЯ рдСрдкрд░реЗрд╢рди рд▓рдЧрддреЗ рд╣реИрдВ, рдФрд░ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рдХреЗ рд╕рд╛рде рдмрдврд╝рдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рдЕрдЯреЗрдВрд╢рди рд╣рд┐рд╕реНрд╕рд╛ рднреА (Kaplan рдЖрджрд┐, 2020, рд╕рдореАрдХрд░рдг 2.2)ред Williams, Waterman рдФрд░ Patterson рдХреЗ рд░реВрдлрд╝рд▓рд╛рдЗрди рдореЙрдбрд▓ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдПрдХ рд╕реНрдЯреЗрдк рдЙрддрдирд╛ рд╕рдордп рд▓реЗрддрд╛ рд╣реИ рдЬрд┐рддрдирд╛ рджреЛрдиреЛрдВ рд╕реАрдорд╛рдУрдВ рдореЗрдВ рд╕реЗ рдзреАрдореА рд╕реАрдорд╛:

$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$

рдпрд╣рд╛рдБ \( b \) рдкреНрд░рддрд┐ рд╡реЗрдЯ рдмрд╛рдЗрдЯ рд╣реИ, \( B \) рдПрдХ рд╕рд╛рде рдЪрд▓рдиреЗ рд╡рд╛рд▓реЗ рд╕реАрдХреНрд╡реЗрдВрд╕, \( \bar{S} \) рдбрд┐рдХреЛрдб рдХреЗ рджреМрд░рд╛рди рдФрд╕рдд рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ (рдкреНрд░реЙрдореНрдкреНрдЯ рдФрд░ рдЖрдзрд╛ рдЖрдЙрдЯрдкреБрдЯ), \( k \) рдкреНрд░рддрд┐ рдЯреЛрдХрди KV рдХреИрд╢ рдмрд╛рдЗрдЯ, \( G \) GPU рдХреА рд╕рдВрдЦреНрдпрд╛, \( BW \) рдореЗрдореЛрд░реА рдмреИрдВрдбрд╡рд┐рдбреНрде, \( F \) рдЙрд╕ рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдкрд░ рдбреЗрдВрд╕ рдкреАрдХ FLOPS, \( \eta \) рдмреИрдВрдбрд╡рд┐рдбреНрде рджрдХреНрд╖рддрд╛ рдФрд░ \( m \) рдХрдВрдкреНрдпреВрдЯ рдЙрдкрдпреЛрдЧ (MFU) рд╣реИред рдкреНрд░рддрд┐ рдЯреЛрдХрди KV рдХреИрд╢ \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \) рд╣реИред

рдкреНрд░реЙрдореНрдкреНрдЯ рдкрд╣рд▓реЗ рдФрд░ рд╕рдорд╛рдирд╛рдВрддрд░ рд░реВрдк рд╕реЗ рдкреНрд░реЛрд╕реЗрд╕ рд╣реЛрддрд╛ рд╣реИ (рдкреНрд░реАрдлрд╝рд┐рд▓), рдЗрд╕рд▓рд┐рдП рдЖрдо рддреМрд░ рдкрд░ рдпрд╣ рдХрдВрдкреНрдпреВрдЯ рд╕реЗ рд╕реАрдорд┐рдд рд░рд╣рддрд╛ рд╣реИред Pope рдЖрджрд┐ (2022) рдХреА рддрд░рд╣ рдПрдХ рдмреИрдЪ рдореЗрдВ рдкреНрд░реАрдлрд╝рд┐рд▓ рдХрд╛ рд╕рдордп рдФрд░ рд╣рд░ рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдХреЗ рд▓рд┐рдП рдПрдХ рдбрд┐рдХреЛрдб рд╕реНрдЯреЗрдк рд▓рдЧрддрд╛ рд╣реИ; рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб = \( B \) ├Ч рдкреНрд░рддрд┐ рдЕрдиреБрд░реЛрдз рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди ├╖ рдмреИрдЪ рдХрд╛ рд╕рдордпред

рдЫреЛрдЯреЗ рдмреИрдЪ рдореЗрдВ рдореЗрдореЛрд░реА рд╡рд╛рд▓рд╛ рд╣рд┐рд╕реНрд╕рд╛ рд╣рд╛рд╡реА рд░рд╣рддрд╛ рд╣реИ рдФрд░ рдкреНрд░рддрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдЧрддрд┐ рд▓рдЧрднрдЧ рдмреИрдВрдбрд╡рд┐рдбреНрде ├╖ рдореЙрдбрд▓ рдЖрдХрд╛рд░ рд╣реЛрддреА рд╣реИред рдмрдбрд╝реЗ рдмреИрдЪ рдореЗрдВ рд╡реЗрдЯ рдХреА рд╣рд░ рд░реАрдб рдЬрд╝реНрдпрд╛рджрд╛ рд╕реАрдХреНрд╡реЗрдВрд╕ рдореЗрдВ рдмрдБрдЯрддреА рд╣реИ, рдЗрд╕рд▓рд┐рдП рдХреБрд▓ рдереНрд░реВрдкреБрдЯ рддрдм рддрдХ рдмрдврд╝рддрд╛ рд╣реИ рдЬрдм рддрдХ KV рдХреИрд╢ рдпрд╛ рдХрдВрдкреНрдпреВрдЯ рд╕реАрдорд╛ рди рдмрди рдЬрд╛рдПред

GPU рдХрд╛ рдЪрд┐рддреНрд░ рдЬрд┐рд╕рдореЗрдВ рдореЗрдореЛрд░реА, рдореЙрдбрд▓ рд╡реЗрдЯреНрд╕ рдФрд░ KV рдХреИрд╢ рдХреЗ рдмреАрдЪ рдмрдБрдЯреА рд╣реИ, рдФрд░ рдПрдХ рдмреИрдВрдбрд╡рд┐рдбреНрде рдкрд╛рдЗрдк рдХрдВрдкреНрдпреВрдЯ рдЪрд┐рдк рдХреЛ рдбреЗрдЯрд╛ рднреЗрдЬрддреА рд╣реИ
рдбрд┐рдХреЛрдб рдЧрддрд┐ рдореБрдЦреНрдп рд░реВрдк рд╕реЗ рдЗрд╕ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддреА рд╣реИ рдХрд┐ GPU рдореЗрдореЛрд░реА рд╕реЗ рдореЙрдбрд▓ рд╡реЗрдЯреНрд╕ рдХрд┐рддрдиреА рддреЗрдЬрд╝реА рд╕реЗ рдкрдврд╝ рдкрд╛рддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдореЗрдореЛрд░реА рдмреИрдВрдбрд╡рд┐рдбреНрде рд╣реА рдереНрд░реВрдкреБрдЯ рдХреА рдЕрдзрд┐рдХрддрдо рд╕реАрдорд╛ рддрдп рдХрд░рддреА рд╣реИред

рдЯреЛрдХрди рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб рд╕реЗ рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рд▓рд╛рдЧрдд рддрдХ

$$ \text{рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рд▓рд╛рдЧрдд} = \frac{p_{\text{GPU}} \times G}{\text{рдЯреЛрдХрди/рд╕реЗрдХрдВрдб} \times 3600 \times u} \times 10^{6} $$

\( p_{\text{GPU}} \) рдкреНрд░рддрд┐ GPU-рдШрдВрдЯрд╛ рдХреАрдордд рд╣реИ рдФрд░ \( u \) рдФрд╕рдд рдЙрдкрдпреЛрдЧ, рдпрд╛рдиреА рднреБрдЧрддрд╛рди рдХрд┐рдП рдЧрдП рдШрдВрдЯреЛрдВ рдХрд╛ рд╡рд╣ рд╣рд┐рд╕реНрд╕рд╛ рдЬрд┐рд╕рдореЗрдВ GPU рдореЙрдбрд▓ рдХреА рдЧрдИ рджрд░ рдкрд░ рд╕реЗрд╡рд╛ рджреЗрддреЗ рд╣реИрдВред рдЖрдзреЗ рд╕рдордп рд╡реНрдпрд╕реНрдд рд░рд╣рдиреЗ рд╡рд╛рд▓рд╛ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдкреНрд░рддрд┐ рдЯреЛрдХрди рджреЛрдЧреБрдирд╛ рдЪреБрдХрд╛рддрд╛ рд╣реИред API рдХреА рдУрд░ рдЗрдирдкреБрдЯ рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдХреАрдорддреЗрдВ рдкреНрд░рддрд┐ рдЕрдиреБрд░реЛрдз рдкреНрд░реЙрдореНрдкреНрдЯ рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рд╕реЗ рднрд╛рд░рд┐рдд рд╣реЛрддреА рд╣реИрдВ, рддрд╛рдХрд┐ рджреЛрдиреЛрдВ рдкрдХреНрд╖ рдПрдХ рд╣реА рдЯреЛрдХрди рдкрд░ рдЖрдБрдХреЗ рдЬрд╛рдПрдБред

рд╡рд┐рдЬреНрдЮрд╛рдкрди
рдлреНрд▓реЛ рдбрд╛рдпрдЧреНрд░рд╛рдо рдЬрд┐рд╕рдореЗрдВ GPU-рдШрдВрдЯреЗ рдХреА рдХреАрдордд рдФрд░ GPU рдХреА рд╕рдВрдЦреНрдпрд╛, рдЙрдкрдпреЛрдЧ рдФрд░ рдереНрд░реВрдкреБрдЯ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рд╕рдорд╛рдпреЛрдЬрд┐рдд рд╣реЛрдХрд░ рдкреНрд░рддрд┐ рджрд╕ рд▓рд╛рдЦ рдЯреЛрдХрди рд▓рд╛рдЧрдд рдореЗрдВ рдмрджрд▓рддреА рд╣реИ
рд╕реЗрд▓реНрдл-рд╣реЛрд╕реНрдЯреЗрдб рд▓рд╛рдЧрдд рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди: GPU-рдШрдВрдЯреЗ рдХреА рд▓рд╛рдЧрдд рдХреЛ рдЖрдкрдХреЗ рдЙрдкрдпреЛрдЧ рдкрд░ рд╣рд░ рдШрдВрдЯреЗ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдмрдиреЗ рдЯреЛрдХрди рдХреА рд╕рдВрдЦреНрдпрд╛ рд╕реЗ рднрд╛рдЧ рджреЗрдиреЗ рдкрд░ рдорд┐рд▓рддреА рд╣реИред

рдмреНрд░реЗрдХ-рдИрд╡рди рд╡реЙрд▓реНрдпреВрдо

рд╣рдореЗрд╢рд╛ рдЪрд╛рд▓реВ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рд╣рд░ рдорд╣реАрдиреЗ рдПрдХ рдЬреИрд╕реА рд▓рд╛рдЧрдд рд▓реЗрддрд╛ рд╣реИ: рдкреНрд░рддрд┐ GPU-рдШрдВрдЯрд╛ рдХреАрдордд ├Ч GPU рдХреА рд╕рдВрдЦреНрдпрд╛ ├Ч 730 рдШрдВрдЯреЗред API рдХрд╛ рдмрд┐рд▓ рд╡реЙрд▓реНрдпреВрдо рдХреЗ рд╕рд╛рде рдмрдврд╝рддрд╛ рд╣реИред рдмреНрд░реЗрдХ-рдИрд╡рди рд╡рд╣ рдорд╛рд╕рд┐рдХ рд╡реЙрд▓реНрдпреВрдо рд╣реИ рдЬрд╣рд╛рдБ рджреЛрдиреЛрдВ рдмрд░рд╛рдмрд░ рд╣реЛрдВ: рддрдп рдорд╛рд╕рд┐рдХ рд▓рд╛рдЧрдд ├╖ API рдкреНрд░рддрд┐ рдЯреЛрдХрди рдХреАрдорддред рдпрд╣ рддрднреА рдорд╛рдпрдиреЗ рд░рдЦрддрд╛ рд╣реИ рдЬрдм рдПрдХ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдЙрддрдирд╛ рд╡реЙрд▓реНрдпреВрдо рд╕рдБрднрд╛рд▓ рд╕рдХреЗ; рдХреНрд╖рдорддрд╛ рд╕реЗ рдЖрдЧреЗ рдПрдХ рдФрд░ рдбрд┐рдкреНрд▓реЙрдпрдореЗрдВрдЯ рдЪрд╛рд╣рд┐рдП, рдЗрд╕рд▓рд┐рдП рдЪрд╛рд░реНрдЯ рдореЗрдВ рд╕реЗрд▓реНрдлрд╝-рд╣реЛрд╕реНрдЯреЗрдб рд░реЗрдЦрд╛ рд╕реАрдврд╝рд┐рдпреЛрдВ рдореЗрдВ рдмрдврд╝рддреА рд╣реИред

рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдЗрдирдкреБрдЯ (Llama 3 70B, BF16, рджреЛ H100 SXM GPU, рдЙрджрд╛рд╣рд░рдг рдХреАрдордд 2.50 USD рдкреНрд░рддрд┐ GPU-рдШрдВрдЯрд╛, 16 рдПрдХ рд╕рд╛рде рд╕реАрдХреНрд╡реЗрдВрд╕, рдкреНрд░рддрд┐ рдЕрдиреБрд░реЛрдз 1,500 рдкреНрд░реЙрдореНрдкреНрдЯ рдФрд░ 500 рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди) рдкрд░ рдЕрдиреБрдорд╛рди рд▓рдЧрднрдЧ 397 рдЖрдЙрдЯрдкреБрдЯ рдЯреЛрдХрди рдкреНрд░рддрд┐ рд╕реЗрдХрдВрдб рдФрд░ 50% рдЙрдкрдпреЛрдЧ рдкрд░ 1.75 USD рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди рд╣реИред рдкреНрд░рддрд┐ 10 рд▓рд╛рдЦ рдЯреЛрдХрди 1 USD рдЗрдирдкреБрдЯ рдФрд░ 5 USD рдЖрдЙрдЯрдкреБрдЯ рд╡рд╛рд▓реА рдЙрджрд╛рд╣рд░рдг API рдХреАрдордд рдХреЗ рдореБрдХрд╛рдмрд▓реЗ рдмреНрд░реЗрдХ-рдИрд╡рди рд▓рдЧрднрдЧ 1,825 рдорд┐рд▓рд┐рдпрди рдЯреЛрдХрди рдкреНрд░рддрд┐ рдорд╛рд╣ рдкрд░ рдЖрддрд╛ рд╣реИред

рд╡рд┐рдЬреНрдЮрд╛рдкрди
рд▓рд╛рдЗрди рдЪрд╛рд░реНрдЯ рдЬрд┐рд╕рдореЗрдВ рдмрдврд╝рддреА рд╣реБрдИ API рд▓рд╛рдЧрдд рд░реЗрдЦрд╛, рдмреНрд░реЗрдХ-рдИрд╡рди рд╡реЙрд▓реНрдпреВрдо рдкрд░ рд╕рдкрд╛рдЯ рд╕реЗрд▓реНрдл-рд╣реЛрд╕реНрдЯреЗрдб рд▓рд╛рдЧрдд рд░реЗрдЦрд╛ рдХреЛ рдХрд╛рдЯрддреА рд╣реИ
рдмреНрд░реЗрдХ-рдИрд╡рди: рдЬрдм рдорд╛рд╕рд┐рдХ рд╡реЙрд▓реНрдпреВрдо рдХреНрд░реЙрд╕рд┐рдВрдЧ рдкреЙрдЗрдВрдЯ рдкрд╛рд░ рдХрд░ рдЬрд╛рддрд╛ рд╣реИ, рддреЛ рдлрд┐рдХреНрд╕реНрдб-рдХреЙрд╕реНрдЯ GPU, API рдХреЛ рдкреНрд░рддрд┐ рдЯреЛрдХрди рднреБрдЧрддрд╛рди рдХрд░рдиреЗ рд╕реЗ рд╕рд╕реНрддрд╛ рдкрдбрд╝рддрд╛ рд╣реИред

рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдП рдЧрдП GPU рдЖрдБрдХрдбрд╝реЗ

рдкреНрд░реАрд╕реЗрдЯ рд╣рд░ рдирд┐рд░реНрдорд╛рддрд╛ рдХреА рдЕрдкрдиреА рдбреЗрдЯрд╛рд╢реАрдЯ рд╕реЗ рд▓рд┐рдП рдЧрдП рд╣реИрдВред рдЯреЗрдВрд╕рд░ рдереНрд░реВрдкреБрдЯ рдЕрдХреНрд╕рд░ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рд╕реНрдкрд╛рд░реНрд╕рд┐рдЯреА рдХреЗ рд╕рд╛рде рдмрддрд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЬреЛ рдбреЗрдВрд╕ рджрд░ рдХрд╛ рджреЛрдЧреБрдирд╛ рд╣реЛрддрд╛ рд╣реИ; рд╕рд╛рдорд╛рдиреНрдп рдЗрдиреНрдлрд╝рд░реЗрдВрд╕ рдбреЗрдВрд╕ рдЪрд▓рддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рддрд╛рд▓рд┐рдХрд╛ рдФрд░ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдбреЗрдВрд╕ рдорд╛рди рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рддреЗ рд╣реИрдВред

GPU рдореЗрдореЛрд░реА (GB) рдмреИрдВрдбрд╡рд┐рдбреНрде (GB/s) рдбреЗрдВрд╕ FP16/BF16 TFLOPS рдбреЗрдВрд╕ FP8 TFLOPS
NVIDIA H100 SXM5 80 3,352 989.4 1,978.9
NVIDIA H100 PCIe 80 2,039 756 1,513
NVIDIA H200 SXM 141 4,800 989.5 1,979
NVIDIA A100 80GB SXM 80 2,039 312 тАФ
NVIDIA A100 80GB PCIe 80 1,935 312 тАФ
NVIDIA L40S 48 864 362.05 733
NVIDIA L4 24 300 121 242.5
AMD Instinct MI300X 192 5,300 1,307.45 2,614.9

рд╕реВрдЪреА рдореЗрдВ рди рд╣реЛ рддреЛ тАЬрдХрд╕реНрдЯрдо GPUтАЭ рдЪреБрдиреЗрдВ рдФрд░ рдЙрд╕рдХреА рдореЗрдореЛрд░реА, рдмреИрдВрдбрд╡рд┐рдбреНрде рдФрд░ рдбреЗрдВрд╕ TFLOPS рджрд░реНрдЬ рдХрд░реЗрдВред

рдЕрдиреБрдорд╛рди рдореЗрдВ рдХреНрдпрд╛ рд╢рд╛рдорд┐рд▓ рдирд╣реАрдВ рд╣реИ

  • рд╕рд░реНрд╡рд┐рдВрдЧ рдЗрдВрдЬрди рдЕрд▓рдЧ-рдЕрд▓рдЧ рд╣реЛрддреЗ рд╣реИрдВ: continuous batching, paged KV рдХреИрд╢, рд╕реНрдкреЗрдХреНрдпреБрд▓реЗрдЯрд┐рд╡ рдбрд┐рдХреЛрдбрд┐рдВрдЧ рдФрд░ рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝реНрдб рдХрд░реНрдиреЗрд▓ рдереНрд░реВрдкреБрдЯ рдХреЛ рдХрд╛рдлрд╝реА рдмрджрд▓ рд╕рдХрддреЗ рд╣реИрдВред рдЕрдкрдирд╛ рд╕реНрдЯреИрдХ рдорд╛рдкреЗрдВ рдФрд░ рдкрд░рд┐рдгрд╛рдо рджрд░реНрдЬ рдХрд░реЗрдВред
  • рдореЙрдбрд▓ рдХреЛ рдХрдИ GPU рдореЗрдВ рдмрд╛рдБрдЯрдиреЗ рд╕реЗ рд╕рдВрдЪрд╛рд░ рдХрд╛ рд╕рдордп рдЬреБрдбрд╝рддрд╛ рд╣реИ, рдЬрд┐рд╕реЗ рдЕрдиреБрдорд╛рди рдирд╣реАрдВ рдЧрд┐рдирддрд╛ред
  • Mixture-of-experts рдореЙрдбрд▓ рд╣рд░ рдЯреЛрдХрди рдкрд░ рдХреЗрд╡рд▓ рд╕рдХреНрд░рд┐рдп рдПрдХреНрд╕рдкрд░реНрдЯ рдкрдврд╝рддрд╛ рд╣реИ: рдЧрддрд┐ рдХреЗ рд▓рд┐рдП рд╕рдХреНрд░рд┐рдп рдкреИрд░рд╛рдореАрдЯрд░ рджрд░реНрдЬ рдХрд░реЗрдВ, рдкрд░ рдореЗрдореЛрд░реА рдХреБрд▓ рдкреИрд░рд╛рдореАрдЯрд░ рд╕реЗ рдЬрд╛рдБрдЪреЗрдВред
  • рдореЙрдбрд▓ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдПрдХ рд╣реА рдЯреЗрдХреНрд╕реНрдЯ рдХреЗ рдЯреЛрдХрди рдЕрд▓рдЧ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред
  • рдмрд┐рдЬрд▓реА, рдХрд░реНрдордЪрд╛рд░рд┐рдпреЛрдВ рдХрд╛ рд╕рдордп, рдкреАрдХ рдХреЗ рд▓рд┐рдП рдЕрддрд┐рд░рд┐рдХреНрдд рдХреНрд╖рдорддрд╛ рдФрд░ рдЖрдЙрдЯрдмрд╛рдЙрдВрдб рдбреЗрдЯрд╛ рд╢реБрд▓реНрдХ рд╢рд╛рдорд┐рд▓ рдирд╣реАрдВ рд╣реИрдВ, рдЬрдм рддрдХ рдЖрдк рдЙрдиреНрд╣реЗрдВ рдкреНрд░рддрд┐ рдШрдВрдЯрд╛ рдХреАрдордд рдореЗрдВ рди рдЬреЛрдбрд╝реЗрдВред

GPU рдореЗрдореЛрд░реА рдХрд╛ рдФрд░ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рд╣рд┐рд╕рд╛рдм рд▓рдЧрд╛рдиреЗ рдХреЗ рд▓рд┐рдП GPU VRAM рдЖрд╡рд╢реНрдпрдХрддрд╛ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░реЗрдВред

рд╕реНрд░реЛрдд рдФрд░ рд╕рдВрджрд░реНрдн

  • NVIDIA H100 Tensor Core GPU Architecture (whitepaper V1.04), Table 1 and the A100/H100 comparison table тАФ NVIDIA. H100 SXM5: 80 GB, 3,352 GB/s, dense FP16/BF16 989.4 and FP8 1,978.9 TFLOPS; H100 PCIe: 80 GB, 2,039 GB/s, 756 / 1,513. Sparsity 'doubling the performance' тАФ the reason every preset uses dense (half) figures. ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • NVIDIA H200 Tensor Core GPU тАФ specifications тАФ NVIDIA. H200 SXM: 141 GB, 4.8 TB/s; FP16/BF16 1,979 and FP8 3,958 TFLOPS 'with sparsity' (footnote 2) тЖТ dense 989.5 / 1,979. ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • NVIDIA A100 Tensor Core GPU тАФ specifications (A100 80GB PCIe / SXM) тАФ NVIDIA. 80 GB HBM2e; 1,935 GB/s (PCIe) and 2,039 GB/s (SXM); FP16/BF16 Tensor 312 TFLOPS dense (624 with sparsity); no FP8. ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • NVIDIA L40S GPU тАФ specifications тАФ NVIDIA. 48 GB GDDR6, 864 GB/s; FP16 Tensor 362.05 dense (733 with sparsity), FP8 733 dense. ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • NVIDIA L4 Tensor Core GPU тАФ specifications тАФ NVIDIA. 24 GB, 300 GB/s; FP16 242 and FP8 485 TFLOPS shown with sparsity, 'one-half lower without sparsity' тЖТ 121 / 242.5. ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • AMD Instinct MI300X Accelerator тАФ specifications тАФ AMD. 192 GB HBM3, 5.3 TB/s; FP16/BF16 2,614.9 and FP8 5,229.8 TFLOPS with structured sparsity (dense 1.3 / 2.61 PFLOPs) тЖТ 1,307.45 / 2,614.9. ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • Roofline: An Insightful Visual Performance Model for Floating-Point Programs and Multicore Architectures (UCB/EECS-2008-134) тАФ Williams S, Waterman A, Patterson D тАФ UC Berkeley EECS. Attainable = min(peak compute, bandwidth ├Ч operational intensity): a decode or prefill step takes the slower of memory time and compute time. ┬╖ рдкреНрд░рднрд╛рд╡реА 2008-10-17 ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • Scaling Laws for Neural Language Models тАФ Kaplan J et al. тАФ arXiv:2001.08361. Eq. 2.2 / Table 1: forward pass тЙИ 2N + 2┬╖n_layer┬╖n_ctx┬╖d_attn FLOPs per token тАФ the compute term. ┬╖ рдкреНрд░рднрд╛рд╡реА 2020-01-23 ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • Efficiently Scaling Transformer Inference тАФ Pope R et al. тАФ arXiv:2211.05102. ┬з2.2: a batch of B sequences = one parallel prefill over the input tokens, then L_gen sequential decode steps; the KV cache is read once per generated token; MFU definition. ┬╖ рдкреНрд░рднрд╛рд╡реА 2022-11-09 ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
  • The Llama 3 Herd of Models тАФ Llama Team, AI @ Meta тАФ arXiv:2407.21783. Table 3, 70B: 80 layers, model dimension 8,192, 64 attention heads, 8 key/value heads (GQA) тАФ the default model shape. ┬╖ рдкреНрд░рднрд╛рд╡реА 2024-07-31 ┬╖ рд╕рддреНрдпрд╛рдкрд┐рдд 2026-11-03
рдЕрдВрддрд┐рдо рдЕрдкрдбреЗрдЯ:

рдЙрджреНрдпреЛрдЧ-рд╡рд┐рд╢рд┐рд╖реНрдЯ рдореЗрдВ рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп

рдЙрджреНрдпреЛрдЧ-рд╡рд┐рд╢рд┐рд╖реНрдЯ рдХреЗ рд╕рднреА рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рджреЗрдЦреЗрдВ