LLM VRAM рдЬрд╝рд░реВрд░рдд рдХреИрд▓рдХреБрд▓реЗрдЯрд░

LLM VRAM рдЬрд╝рд░реВрд░рдд рдХреИрд▓рдХреБрд▓реЗрдЯрд░

рдЕрдЧреНрд░рдгреА AI Skill PRO

рдЧрдгрдирд╛ рджрд░реНрдЬ рдХрд░реЗрдВ

рд╕реВрддреНрд░ (рдлреЙрд░реНрдореВрд▓рд╛)

VRAM (GB)=рдкреИрд░рд╛рдореАрдЯрд░ (B)├Чрдмрд╛рдЗрдЯ/рдкреИрд░рд╛рдореАрдЯрд░├ЧрдУрд╡рд░рд╣реЗрдб\text{VRAM (GB)} = \text{рдкреИрд░рд╛рдореАрдЯрд░ (B)} \times \text{рдмрд╛рдЗрдЯ/рдкреИрд░рд╛рдореАрдЯрд░} \times \text{рдУрд╡рд░рд╣реЗрдб}

рдЙрджрд╛рд╣рд░рдг

VRAM (GB)=7├Ч2├Ч1.2=16.8\text{VRAM (GB)} = 7 \times 2 \times 1.2 = 16.8
рдЙрдкрдпреЛрдЧ рдЖрдБрдХрдбрд╝реЗ

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдкрд░рд┐рдгрд╛рдо

рдЕрдиреБрдорд╛рдирд┐рдд рдЬрд╝рд░реВрд░реА VRAM
16.8
GB
рдореЙрдбрд▓ рдХреЗ рдореВрд▓ рд╡реЗрдЯреНрд╕ 14 GB
рдУрд╡рд░рд╣реЗрдб (KV рдХреИрд╢, рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдЖрджрд┐) 2.8 GB

рдЗрд╕ рдкреЗрдЬ рдкрд░ рддреНрд░реБрдЯрд┐ рдХреА рд░рд┐рдкреЛрд░реНрдЯ рдХрд░реЗрдВ

LLM VRAM рдЬрд╝рд░реВрд░рдд рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХреНрдпрд╛ рд╣реИ?

рдпрд╣ рдЯреВрд▓ рдпрд╣ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рд▓рд╛рд░реНрдЬ рд▓реИрдВрдЧреНрд╡реЗрдЬ рдореЙрдбрд▓ (LLM) рдХреЛ рдЗрдирдлрд░реЗрдВрд╕ рдХреЗ рд▓рд┐рдП рд▓реЛрдб рдХрд░рдХреЗ рдЪрд▓рд╛рдиреЗ рдореЗрдВ рдЖрдкрдХреЛ рдХрд┐рддрдиреА GPU рд╡реАрдбрд┐рдпреЛ рдореЗрдореЛрд░реА (VRAM) рдХреА рдЬрд╝рд░реВрд░рдд рдкрдбрд╝реЗрдЧреАред рдореЗрдореЛрд░реА рдХреА рдорд╛рддреНрд░рд╛ рд╕рдмрд╕реЗ рдЬрд╝реНрдпрд╛рджрд╛ рджреЛ рдмрд╛рддреЛрдВ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддреА рд╣реИ тАФ рдореЙрдбрд▓ рдореЗрдВ рдкреИрд░рд╛рдореАрдЯрд░ рдХреА рд╕рдВрдЦреНрдпрд╛, рдФрд░ рд╣рд░ рд╡реЗрдЯ (weight) рдХреЛ рд╕реНрдЯреЛрд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рдиреНрдпреВрдореЗрд░рд┐рдХ рдкреНрд░рд┐рд╕рд┐рдЬрд╝рдиред рдПрдХ рд╕реЗрдлреНрдЯреА/рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ рднреА рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЬреЛ KV рдХреИрд╢, рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдФрд░ CUDA рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рдЬреИрд╕реА рдЪреАрдЬрд╝реЛрдВ рдХреЗ рд▓рд┐рдП рд╣реЛрддрд╛ рд╣реИ тАФ рдпреЗ рдХреЗрд╡рд▓ рд╡реЗрдЯреНрд╕ рд╕реЗ рдЬрд╝реНрдпрд╛рджрд╛ рдореЗрдореЛрд░реА рдЦрд╛рддреЗ рд╣реИрдВред

рдЗрд╕рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреИрд╕реЗ рдХрд░реЗрдВ

рдореЙрдбрд▓ рдХрд╛ рдЖрдХрд╛рд░ рдЕрд░рдм (рдмрд┐рд▓рд┐рдпрди) рдкреИрд░рд╛рдореАрдЯрд░ рдореЗрдВ рдбрд╛рд▓реЗрдВ тАФ рдЬреИрд╕реЗ 7B рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП 7, рдпрд╛ Llama-3 70B рдХреЗ рд▓рд┐рдП 70ред рдлрд┐рд░ рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдЪреБрдиреЗрдВ: FP32 рд╣рд░ рд╡реЗрдЯ рдХреЗ рд▓рд┐рдП 4 рдмрд╛рдЗрдЯ рд▓реЗрддрд╛ рд╣реИ, FP16/BF16 рдХреЗ рд▓рд┐рдП 2 рдмрд╛рдЗрдЯ, INT8 рдХреЗ рд▓рд┐рдП 1 рдмрд╛рдЗрдЯ, рдФрд░ INT4 рдХреНрд╡рд╛рдВрдЯрд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рд▓рд┐рдП 0.5 рдмрд╛рдЗрдЯред рдЖрдЦрд┐рд░ рдореЗрдВ рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ рддрдп рдХрд░реЗрдВ тАФ рдЫреЛрдЯреЗ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рд╡рд╛рд▓реЗ рдЗрдирдлрд░реЗрдВрд╕ рдХреЗ рд▓рд┐рдП 1.2 (рдпрд╛рдиреА 20% рдХрд╛ рдмрдлрд░) рдПрдХ рдареАрдХ-рдард╛рдХ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд╣реИ; рд▓рдВрдмреЗ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рдпрд╛ рдмреИрдЪрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЗрд╕реЗ рдмрдврд╝рд╛ рджреЗрдВред

FP32, FP16, INT8 рдФрд░ INT4 рдкреНрд░рд┐рд╕рд┐рдЬрди рдХреЗ рд▓рд┐рдП рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯ рдХреА рдмрд╛рд░ рддреБрд▓рдирд╛
рдХрдо рдкреНрд░рд┐рд╕рд┐рдЬрди рд╡рд╛рд▓реЗ рдлреЙрд░реНрдореЗрдЯ рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдХрдо рдмрд╛рдЗрдЯ рд▓реЗрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ VRAM рдШрдЯрддреА рд╣реИред

рдлреЙрд░реНрдореВрд▓рд╛ рд╕рдордЭреЗрдВ

$$\text{VRAM (GB)} = \text{Params (B)} \times \text{Bytes/Param} \times \text{Overhead}$$ рдЪреВрдБрдХрд┐ 1 рдЕрд░рдм рдмрд╛рдЗрдЯ тЙИ 1 GB рд╣реЛрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЕрд░рдм рдореЗрдВ рджрд┐рдП рдЧрдП рдкреИрд░рд╛рдореАрдЯрд░ рдХреЛ рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯ рд╕реЗ рдЧреБрдгрд╛ рдХрд░рдиреЗ рдкрд░ рд╕реАрдзреЗ рдЧреАрдЧрд╛рдмрд╛рдЗрдЯ рдорд┐рд▓ рдЬрд╛рддреЗ рд╣реИрдВред рдЗрд╕рдХреЗ рдмрд╛рдж рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ рдЗрд╕ рдЖрдБрдХрдбрд╝реЗ рдХреЛ рдмрдврд╝рд╛рдХрд░ рд░рдирдЯрд╛рдЗрдо рдХреЗ рджреМрд░рд╛рди рд▓рдЧрдиреЗ рд╡рд╛рд▓реА рдореЗрдореЛрд░реА рдХреЛ рднреА рдХрд╡рд░ рдХрд░ рд▓реЗрддрд╛ рд╣реИред

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдЙрджрд╛рд╣рд░рдг рдХреЗ рд╕рд╛рде рд╣рд┐рд╕рд╛рдм

FP16 рдореЗрдВ рдЪрд▓ рд░рд╣реЗ 7B рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП, 1.2 рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ рдХреЗ рд╕рд╛рде: $$7 \times 2 \times 1.2 = 16.8 \text{ GB}$$ рдпрд╣ 24 GB рд╡рд╛рд▓реЗ рдХрд╛рд░реНрдб рдореЗрдВ рдЖрд░рд╛рдо рд╕реЗ рдлрд┐рдЯ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рд╡рд╣реА рдореЙрдбрд▓ INT4 рдореЗрдВ: $$7 \times 0.5 \times 1.2 = 4.2 \text{ GB}$$ рдЬреЛ рдХрд┐рд╕реА 8 GB GPU рдкрд░ рднреА рдЖрд╕рд╛рдиреА рд╕реЗ рдЪрд▓ рд╕рдХрддрд╛ рд╣реИред

рдЖрд░реЗрдЦ рдЬреЛ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХреА рдкреИрд░рд╛рдореАрдЯрд░ рд╕рдВрдЦреНрдпрд╛ рдХреЛ рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯ рдФрд░ рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ рд╕реЗ рдЧреБрдгрд╛ рдХрд░рдХреЗ рдХреБрд▓ GPU VRAM рдорд┐рд▓рддрд╛ рд╣реИ
VRAM = рдкреИрд░рд╛рдореАрдЯрд░ рд╕рдВрдЦреНрдпрд╛ ├Ч рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯ ├Ч рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ред

VRAM-рдЕрдиреБрдорд╛рди рд╕рд╛рдорд╛рдиреНрдп рдореЙрдбрд▓ рдЖрдХрд╛рд░реЛрдВ рдФрд░ рд╕рдЯреАрдХрддрд╛-рд╕реНрддрд░реЛрдВ рдХреЗ рд▓рд┐рдП

рддрд╛рд▓рд┐рдХрд╛ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХрд╛ рд╕реВрддреНрд░ 1.2 рдХреЗ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдУрд╡рд░рд╣реЗрдб рдкрд░ рдЙрдкрдпреЛрдЧ рдХрд░рддреА рд╣реИ: \(\text{VRAM (GB)} = \text{Params (B)} \times \text{Bytes/Param} \times 1.2\)ред рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯреНрд╕ FP16 рдХреЗ рд▓рд┐рдП 2, INT8 рдХреЗ рд▓рд┐рдП 1 рдФрд░ INT4 рдХреЗ рд▓рд┐рдП 0.5 рд╣реИрдВред "Fits on" рдиреЛрдЯреНрд╕ рдкреНрд░рддреНрдпреЗрдХ рдкрд░рд┐рдгрд╛рдо рдХреА рддреБрд▓рдирд╛ рдПрдХ single GPU рдХреА рдирд╛рдордорд╛рддреНрд░ рдХреНрд╖рдорддрд╛ рд╕реЗ рдХрд░рддреЗ рд╣реИрдВ, рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдЙрдкрдпреЛрдЧ рдпреЛрдЧреНрдп рдорд╛рддреНрд░рд╛ рдереЛрдбрд╝реА рдХрдо рд╣реЛрддреА рд╣реИред

рдореЙрдбрд▓ рдЖрдХрд╛рд░ FP16 (GB) INT8 (GB) INT4 (GB)
7B 16.8 8.4 4.2
13B 31.2 15.6 7.8
34B 81.6 40.8 20.4
70B 168 84 42
405B 972 486 243

рдХреМрди-рд╕рд╛ GPU рд╕реНрддрд░ рдкреНрд░рддреНрдпреЗрдХ рдЕрдиреБрдорд╛рди рдХреЛ рдлрд┐рдЯ рдХрд░ рд╕рдХрддрд╛ рд╣реИ

  • 7B: FP16 рдХреЗ рд▓рд┐рдП 24 GB рдХрд╛рд░реНрдб рдЪрд╛рд╣рд┐рдП (16.8 GB, 16 GB рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд рдЕрдзрд┐рдХ рд╣реИ)ред INT8 16 GB рдореЗрдВ рдлрд┐рдЯ рд╣реЛрддрд╛ рд╣реИред INT4 8 GB рдореЗрдВ рдлрд┐рдЯ рд╣реЛрддрд╛ рд╣реИред
  • 13B: FP16 рдХреЗ рд▓рд┐рдП 48 GB рдЪрд╛рд╣рд┐рдПред INT8 (15.6 GB) рдХреЗрд╡рд▓ 16 GB рдореЗрдВ рдореБрд╢реНрдХрд┐рд▓ рд╕реЗ рдлрд┐рдЯ рд╣реЛрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП 24 GB рдЕрдзрд┐рдХ рдЖрд░рд╛рдорджрд╛рдпрдХ рд╣реИред INT4 (7.8 GB) 8 GB рдкрд░ рдмрд╣реБрдд рддрдВрдЧ рд╣реИ, рдЗрд╕рд▓рд┐рдП рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рд╡рд┐рдХрд▓реНрдк 16 GB рд╣реИред
  • 34B: FP16 (81.6 GB) рдПрдХ single 80 GB рдХрд╛рд░реНрдб рд╕реЗ рдЕрдзрд┐рдХ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЗрд╕рдХреЗ рд▓рд┐рдП рдХрдИ GPU рдЪрд╛рд╣рд┐рдПред INT8 48 GB рдореЗрдВ рдлрд┐рдЯ рд╣реЛрддрд╛ рд╣реИред INT4 24 GB рдореЗрдВ рдлрд┐рдЯ рд╣реЛрддрд╛ рд╣реИред
  • 70B: FP16 (168 GB) рдХреЗ рд▓рд┐рдП рдХрдо рд╕реЗ рдХрдо рддреАрди 80 GB GPU рдЪрд╛рд╣рд┐рдПред INT8 (84 GB) рдПрдХ 80 GB рдХрд╛рд░реНрдб рд╕реЗ рдЕрдзрд┐рдХ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЗрд╕рдХреЗ рд▓рд┐рдП рджреЛ GPU рдЪрд╛рд╣рд┐рдП, рдЬреИрд╕реЗ 2├Ч48 GB рдпрд╛ 2├Ч80 GBред INT4 (42 GB) 48 GB рдореЗрдВ рдлрд┐рдЯ рд╣реЛрддрд╛ рд╣реИред
  • 405B: рд╣рд░ рд╕рдЯреАрдХрддрд╛-рд╕реНрддрд░ рдХреЗ рд▓рд┐рдП рдХрдИ GPU рдЪрд╛рд╣рд┐рдПред FP16 рдХреЗ рд▓рд┐рдП рдХрдо рд╕реЗ рдХрдо рддреЗрд░рд╣ 80 GB рдХрд╛рд░реНрдб рдЪрд╛рд╣рд┐рдП, INT8 рдХреЗ рд▓рд┐рдП рдХрдо рд╕реЗ рдХрдо рд╕рд╛рдд, рдФрд░ INT4 рдХреЗ рд▓рд┐рдП рдХрдо рд╕реЗ рдХрдо рдЪрд╛рд░ред

рдЬрдм рдЕрдиреБрдорд╛рди рдПрдХ рдХрд╛рд░реНрдб рдХреА рдореЗрдореЛрд░реА рд╕реЗ рдЕрдзрд┐рдХ рд╣реЛ, рддреЛ рдореЙрдбрд▓ рдХреЛ рдХрдИ GPU рдореЗрдВ рдмрд╛рдБрдЯрдирд╛ рдкрдбрд╝рддрд╛ рд╣реИ (tensor рдпрд╛ pipeline parallelism рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ)ред рддрдм рдЗрдВрдЯрд░рдХрдиреЗрдХреНрдЯ рдХреА рдЧрддрд┐ рдФрд░ рдкреНрд░рддрд┐-GPU рдУрд╡рд░рд╣реЗрдб рдорд╛рдпрдиреЗ рд░рдЦрддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рд╕рд░рд▓ рд╡рд┐рднрд╛рдЬрди рд╕реЗ рдЖрдЧреЗ рдереЛрдбрд╝реА рдЕрддрд┐рд░рд┐рдХреНрдд рдЬрдЧрд╣ рд░рдЦреЗрдВред

рдлрд╝реЙрд░реНрдореИрдЯ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯреНрд╕

рдлрд╝реЙрд░реНрдореИрдЯ рдкреНрд░рддрд┐ рдкреИрд░рд╛рдореАрдЯрд░ рдмрд╛рдЗрдЯреНрд╕ рд╕рд╛рдорд╛рдиреНрдп рдЙрдкрдпреЛрдЧ
FP32 4 рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рдЖрдзрд╛рд░-рдорд╛рди, рд╢реЛрдз рдФрд░ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд░реВрдк рд╕реЗ рд╕рдВрд╡реЗрджрдирд╢реАрд▓ рдХрд╛рд░реНрдп; LLM рд╕рд░реНрд╡рд┐рдВрдЧ рдореЗрдВ рд╢рд╛рдпрдж рд╣реА рдХрднреА рдЙрдкрдпреЛрдЧ
FP16 / BF16 2 рдорд╛рдирдХ рдкреВрд░реНрдг-рдЧреБрдгрд╡рддреНрддрд╛ inference рдФрд░ рдЬрд╛рд░реА checkpoints рдХрд╛ рдЖрдо storage рдлрд╝реЙрд░реНрдореИрдЯ
FP8 / INT8 1 рд╕рдорд░реНрдерд┐рдд рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдФрд░ рд╕реЙрдлрд╝реНрдЯрд╡реЗрдпрд░ рдкрд░ рдХрдо рдЧреБрдгрд╡рддреНрддрд╛-рд╣рд╛рдирд┐ рдХреЗ рд╕рд╛рде рдХреБрд╢рд▓ рд╕рд░реНрд╡рд┐рдВрдЧ
INT4 0.5 рд╕реНрдерд╛рдиреАрдп inference рдФрд░ рдЙрдкрднреЛрдХреНрддрд╛ GPU рдХреЗ рд▓рд┐рдП рдЖрдХреНрд░рд╛рдордХ quantization, рдХреБрдЫ рдЧреБрдгрд╡рддреНрддрд╛-рд╣рд╛рдирд┐ рдХреЗ рд╕рд╛рде

рд╡рд╛рд╕реНрддрд╡рд┐рдХ 4-bit рдлрд╝реЙрд░реНрдореИрдЯ рдкрд░ рдиреЛрдЯ: GGUF Q4_K_M, GPTQ рдФрд░ AWQ рдЬреИрд╕реА рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ 4-bit рдпреЛрдЬрдирд╛рдПрдБ рдкреНрд░рддрд┐-рд╕рдореВрд╣ scales рдФрд░ рдЕрдиреНрдп metadata рд╕рдВрдЧреНрд░рд╣реАрдд рдХрд░рддреА рд╣реИрдВред рдЗрд╕рд▓рд┐рдП рд╡реЗ рдкреНрд░рддрд┐ weight 0.5 рдмрд╛рдЗрдЯ рд╕реЗ рдереЛрдбрд╝рд╛ рдЕрдзрд┐рдХ рдЙрдкрдпреЛрдЧ рдХрд░рддреА рд╣реИрдВ, рд▓рдЧрднрдЧ 0.55 рд╕реЗ 0.65ред рдЗрди рдлрд╝реЙрд░реНрдореИрдЯ рдХреЗ рд▓рд┐рдП рдпрд╛ рддреЛ рдУрд╡рд░рд╣реЗрдб рдлрд╝реИрдХреНрдЯрд░ рдереЛрдбрд╝рд╛ рдмрдврд╝рд╛рдПрдБ, рдпрд╛ INT4 рдкрд░рд┐рдгрд╛рдо рдХреЛ рд╣рд▓реНрдХреЗ рдХрдо-рдЕрдиреБрдорд╛рди рдХреЗ рд░реВрдк рдореЗрдВ рд▓реЗрдВред

рдЙрдкрдпреЛрдЧ-рдорд╛рдорд▓реЗ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рд╕рд╛рдорд╛рдиреНрдп рдУрд╡рд░рд╣реЗрдб рдлрд╝реИрдХреНрдЯрд░

рдЙрдкрдпреЛрдЧ-рдорд╛рдорд▓рд╛ рдУрд╡рд░рд╣реЗрдб рдлрд╝реИрдХреНрдЯрд░
рдЫреЛрдЯрд╛ context, рдПрдХ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд▓рдЧрднрдЧ 1.2
рд▓рдВрдмрд╛ context рдпрд╛ рдордзреНрдпрдо batching рд▓рдЧрднрдЧ 1.5 рд╕реЗ 2.0
рднрд╛рд░реА batching рдпрд╛ рдмрд╣реБрдд рд▓рдВрдмрд╛ context рд╕рд░реНрд╡рд┐рдВрдЧ 2.0 рдпрд╛ рдЕрдзрд┐рдХ

рдпреЗ рдЕрдВрдЧреВрдареЗ рдХреЗ рдирд┐рдпрдо рд╣реИрдВ, рдирд┐рд╢реНрдЪрд┐рдд рдорд╛рдирдХ рдирд╣реАрдВред рдЖрдкрдХрд╛ inference engine, context рдХреА рд▓рдВрдмрд╛рдИ рдФрд░ рд╕рдорд╡рд░реНрддреА рдЙрдкрдпреЛрдЧ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдорд╛рди рддрдп рдХрд░рддреЗ рд╣реИрдВред

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдЕрдкрдиреЗ VRAM-рдЕрдиреБрдорд╛рди рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛

рдкрд░рд┐рдгрд╛рдо inference рдХреЗ рд▓рд┐рдП рдПрдХ рдЕрдиреБрдорд╛рдирд┐рдд, рдирд┐рдореНрди-рд╕реАрдорд╛-рдЬреИрд╕рд╛ рдЕрдиреБрдорд╛рди рд╣реИред рдпрд╣ weights рдХреА рдореЗрдореЛрд░реА рд▓реЗрддрд╛ рд╣реИ рдФрд░ KV cache, activations, CUDA context рдФрд░ framework buffers рдХреЗ рд▓рд┐рдП рдПрдХ рд╕реНрдерд┐рд░ рдкреНрд░рддрд┐рд╢рдд рдЬреЛрдбрд╝рддрд╛ рд╣реИред рдпрд╣ рдХреЛрдИ рд╕рдЯреАрдХ рдорд╛рдк рдирд╣реАрдВ рд╣реИ, рдФрд░ рдЗрд╕рдореЗрдВ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╢рд╛рдорд┐рд▓ рдирд╣реАрдВ рд╣реИред рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдореЗрдВ gradients рдФрд░ optimizer states рднреА рд╕рдВрдЧреНрд░рд╣реАрдд рд╣реЛрддреЗ рд╣реИрдВ, рдЬрд┐рдирдХреЗ рд▓рд┐рдП рдХрдИ рдЧреБрдирд╛ рдЕрдзрд┐рдХ рдореЗрдореЛрд░реА рдЪрд╛рд╣рд┐рдП рд╣реЛ рд╕рдХрддреА рд╣реИред

KV cache рдХреИрд╕реЗ рдмрдврд╝рддрд╛ рд╣реИ

KV cache context рдХреА рд▓рдВрдмрд╛рдИ, batch size, layers рдХреА рд╕рдВрдЦреНрдпрд╛ рдФрд░ key/value projections рдХреЗ hidden size рдХреЗ рд╕рд╛рде рд░реЗрдЦреАрдп рд░реВрдк рд╕реЗ рдмрдврд╝рддрд╛ рд╣реИ:

$$\text{KV cache (bytes)} \approx 2 \times L \times d_{kv} \times T \times B \times b$$

рдпрд╣рд╛рдБ \(L\) layers рдХреА рд╕рдВрдЦреНрдпрд╛ рд╣реИ, \(d_{kv}\) key/value рдХреА рдЪреМрдбрд╝рд╛рдИ рд╣реИ, \(T\) tokens рдореЗрдВ context рдХреА рд▓рдВрдмрд╛рдИ рд╣реИ, \(B\) batch size (рд╕рдорд╡рд░реНрддреА sequences) рд╣реИ рдФрд░ \(b\) рдкреНрд░рддрд┐ cache element рдмрд╛рдЗрдЯреНрд╕ рд╣реИред рдлрд╝реИрдХреНрдЯрд░ 2 keys рдФрд░ values рджреЛрдиреЛрдВ рдХреЛ рдХрд╡рд░ рдХрд░рддрд╛ рд╣реИред рдПрдХ рдЙрджрд╛рд╣рд░рдг рдХреЗ рд░реВрдк рдореЗрдВ, standard multi-head attention, 32 layers, hidden size 4096 рдФрд░ 4096 tokens рдкрд░ FP16 cache рд╡рд╛рд▓реЗ рдореЙрдбрд▓ рдХреЛ \(2 \times 32 \times 4096 \times 4096 \times 2 = 2{,}147{,}483{,}648\) рдмрд╛рдЗрдЯреНрд╕ рдЪрд╛рд╣рд┐рдП, рдпрд╛рдиреА рдкреНрд░рддрд┐ sequence рд▓рдЧрднрдЧ 2.1 GBред Grouped-query attention рд╡рд╛рд▓реЗ рдореЙрдбрд▓реЛрдВ рдореЗрдВ \(d_{kv}\) рдЫреЛрдЯрд╛ рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдЗрд╕рд▓рд┐рдП cache рдмрд╣реБрдд рдЫреЛрдЯрд╛ рд╣реЛрддрд╛ рд╣реИред рд▓рдВрдмреЗ contexts рдпрд╛ рдХрдИ рд╕рдорд╡рд░реНрддреА рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд╕рд╛рде cache weights рдХреЗ рдмрд░рд╛рдмрд░ рдпрд╛ рдЙрдирд╕реЗ рдЕрдзрд┐рдХ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдРрд╕реЗ рдорд╛рдорд▓реЛрдВ рдореЗрдВ рдУрд╡рд░рд╣реЗрдб рдлрд╝реИрдХреНрдЯрд░ рдмрдврд╝рд╛рдПрдБред

рдЙрдкрдпреЛрдЧ рдпреЛрдЧреНрдп рдореЗрдореЛрд░реА рд╕реЗ рддреБрд▓рдирд╛

рдЕрдиреБрдорд╛рди рдХреА рддреБрд▓рдирд╛ GPU рдХреА рдирд╛рдордорд╛рддреНрд░ рд╕рдВрдЦреНрдпрд╛ рд╕реЗ рдирд╣реАрдВ, рдмрд▓реНрдХрд┐ рдЙрд╕рдХреА рдЙрдкрдпреЛрдЧ рдпреЛрдЧреНрдп рдореЗрдореЛрд░реА рд╕реЗ рдХрд░реЗрдВред рдбреНрд░рд╛рдЗрд╡рд░, CUDA context рдФрд░ рдбрд┐рд╕реНрдкреНрд▓реЗ (рдпрджрд┐ GPU рдореЙрдирд┐рдЯрд░ рднреА рдЪрд▓рд╛рддрд╛ рд╣реИ) рдХреБрдЫ рдореЗрдореЛрд░реА рд▓реЗрддреЗ рд╣реИрдВ, рдФрд░ inference engines рдЖрдорддреМрд░ рдкрд░ рдмрд╛рдХреА рдХрд╛ рдПрдХ рд╣рд┐рд╕реНрд╕рд╛ рдЖрд░рдХреНрд╖рд┐рдд рд░рдЦрддреЗ рд╣реИрдВред 24 GB рдХреЗ рд░реВрдк рдореЗрдВ рдмреЗрдЪрд╛ рдЧрдпрд╛ рдХрд╛рд░реНрдб рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП рдЖрдорддреМрд░ рдкрд░ рдХрд╛рдлрд╝реА рдХрдо рдЬрдЧрд╣ рджреЗрддрд╛ рд╣реИред рдпрджрд┐ рдЖрдкрдХрд╛ рдЕрдиреБрдорд╛рди рдХрд╛рд░реНрдб рдХреЗ рдЖрдХрд╛рд░ рдХреЗ рдХреБрдЫ рдкреНрд░рддрд┐рд╢рдд рдХреЗ рднреАрддрд░ рд╣реИ, рддреЛ рдорд╛рди рд▓реЗрдВ рдХрд┐ рд╡рд╣ рдлрд┐рдЯ рдирд╣реАрдВ рд╣реЛрдЧрд╛ред

рдПрдХрд╛рдзрд┐рдХ GPU

Tensor parallelism рдореЗрдВ weights рдФрд░ KV cache рд╕рднреА GPU рдореЗрдВ рдмрдБрдЯрддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рд╣рд░ рдХрд╛рд░реНрдб рд▓рдЧрднрдЧ рдЕрдкрдирд╛ рд╣рд┐рд╕реНрд╕рд╛ рд░рдЦрддрд╛ рд╣реИред рдлрд┐рд░ рднреА рд╣рд░ GPU рдХрд╛ рдЕрдкрдирд╛ CUDA context рдФрд░ buffers рд╣реЛрддреЗ рд╣реИрдВ, рдФрд░ communication buffers рдФрд░ рдЬреЛрдбрд╝рддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рд╕рднреА GPU рдХрд╛ рдХреБрд▓ рдпреЛрдЧ single-GPU рдЕрдиреБрдорд╛рди рд╕реЗ рдХреБрдЫ рдЕрдзрд┐рдХ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред

Mixture-of-Experts рдореЙрдбрд▓

Mixture-of-Experts (MoE) рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдХреБрд▓ рдкреИрд░рд╛рдореАрдЯрд░ рд╕рдВрдЦреНрдпрд╛ рджрд░реНрдЬ рдХрд░реЗрдВ, рд╕рдХреНрд░рд┐рдп рд╕рдВрдЦреНрдпрд╛ рдирд╣реАрдВред рд╣рд░ token рдХреЗ рд▓рд┐рдП рдХреЗрд╡рд▓ рдХреБрдЫ experts рдЪрд▓рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ compute рдХрдо рд╣реЛрддрд╛ рд╣реИ, but рд╕рднреА expert weights рдЖрдорддреМрд░ рдкрд░ VRAM рдореЗрдВ рдмрдиреЗ рд░рд╣рдирд╛ рдЪрд╛рд╣рд┐рдП рддрд╛рдХрд┐ router рдЙрдирдореЗрдВ рд╕реЗ рдХрд┐рд╕реА рдХреЛ рднреА рдЪреБрди рд╕рдХреЗред

рдпрд╣ рдпреЛрдЬрдирд╛ рдмрдирд╛рдиреЗ рдХреЗ рдЙрджреНрджреЗрд╢реНрдп рд╕реЗ рджреА рдЧрдИ рд╕рд╛рдорд╛рдиреНрдп рдЬрд╛рдирдХрд╛рд░реА рд╣реИред рдЕрдкрдиреЗ рд╕реЙрдлрд╝реНрдЯрд╡реЗрдпрд░ рдФрд░ workload рдХреЗ рд╕рд╛рде рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдЙрдкрдпреЛрдЧ рдХреА рдЬрд╛рдБрдЪ рдХрд░реЗрдВред

рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓

рдЕрд╕рд▓ рдЗрд╕реНрддреЗрдорд╛рд▓ рд╡реЗрдЯреНрд╕ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдЬрд╝реНрдпрд╛рджрд╛ рдХреНрдпреЛрдВ рд╣реЛрддрд╛ рд╣реИ? KV рдХреИрд╢ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рдХреА рд▓рдВрдмрд╛рдИ рдФрд░ рдмреИрдЪ рд╕рд╛рдЗрдЬрд╝ рдХреЗ рд╕рд╛рде рдмрдврд╝рддрд╛ рд╣реИ, рдФрд░ рдлреНрд░реЗрдорд╡рд░реНрдХ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рд╡ рдмрдлрд░ рдХреЗ рд▓рд┐рдП рдЕрд▓рдЧ рд╕реЗ рдореЗрдореЛрд░реА рд░рд┐рдЬрд╝рд░реНрд╡ рд░рдЦрддрд╛ рд╣реИ тАФ рдЗрд╕реА рдХрд╛ рдЕрдВрджрд╛рдЬрд╝рд╛ рдУрд╡рд░рд╣реЗрдб рдлреИрдХреНрдЯрд░ рд▓рдЧрд╛рддрд╛ рд╣реИред

рдХреНрдпрд╛ рдЗрд╕рдореЗрдВ рдЯреНрд░реЗрдирд┐рдВрдЧ рднреА рд╢рд╛рдорд┐рд▓ рд╣реИ? рдирд╣реАрдВред рдЯреНрд░реЗрдирд┐рдВрдЧ рдХреЛ рдСрдкреНрдЯрд┐рдорд╛рдЗрдЬрд╝рд░ рд╕реНрдЯреЗрдЯ рдФрд░ рдЧреНрд░реЗрдбрд┐рдПрдВрдЯ рдХреЗ рд▓рд┐рдП рд▓рдЧрднрдЧ 3тАУ4 рдЧреБрдирд╛ рдЬрд╝реНрдпрд╛рджрд╛ рдореЗрдореЛрд░реА рдЪрд╛рд╣рд┐рдП рд╣реЛрддреА рд╣реИ; рдпрд╣ рдЕрдиреБрдорд╛рди рд╕рд┐рд░реНрдлрд╝ рдЗрдирдлрд░реЗрдВрд╕ рдХреЗ рд▓рд┐рдП рд╣реИред

рдореБрдЭреЗ рдХреМрди-рд╕рд╛ рдУрд╡рд░рд╣реЗрдб рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП? рдЫреЛрдЯреЗ рдкреНрд░реЙрдореНрдкреНрдЯ рдХреЗ рд▓рд┐рдП ~1.2, рдФрд░ рд▓рдВрдмреЗ рдХреЙрдиреНрдЯреЗрдХреНрд╕реНрдЯ рдпрд╛ рднрд╛рд░реА рдмреИрдЪрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП 1.5тАУ2.0+ рд░рдЦреЗрдВред

рдЕрдВрддрд┐рдо рдЕрдкрдбреЗрдЯ:

рдбрд┐рдЬрд┐рдЯрд▓ рдЬреАрд╡рди рдореЗрдВ рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп

рдбрд┐рдЬрд┐рдЯрд▓ рдЬреАрд╡рди рдХреЗ рд╕рднреА рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рджреЗрдЦреЗрдВ