LLM 顯示記憶體需求計算機

LLM 顯示記憶體需求計算機

成長中 AI Skill PRO

輸入計算

數學公式

顯示記憶體(GB)=參數量(B)×位元組/參數×額外開銷\text{顯示記憶體(GB)} = \text{參數量(B)} \times \text{位元組/參數} \times \text{額外開銷}

計算範例

顯示記憶體(GB)=7×2×1.2=16.8\text{顯示記憶體(GB)} = 7 \times 2 \times 1.2 = 16.8
使用統計

廣告

結果

預估所需顯示記憶體
16.8
GB
純模型權重 14 GB
額外開銷(KV 快取、啟用值等) 2.8 GB

回報本頁錯誤

什麼是 LLM 顯示記憶體需求計算機?

這個工具能幫你估算載入並執行大型語言模型(LLM)進行推論時,所需的 GPU 顯示記憶體(VRAM)有多少。記憶體用量主要取決於模型的參數量,以及儲存每個權重所用的數值精度。此外,還有一個安全(額外開銷)係數,用來涵蓋 KV 快取、啟用值(activations)與 CUDA 環境等,這些都會在純權重之外額外佔用記憶體。

使用方式

以「十億參數」為單位輸入模型大小(例如 7B 模型輸入 7、Llama-3 70B 輸入 70)。接著選擇精度:FP32 每個權重佔 4 個位元組、FP16/BF16 佔 2 個位元組、INT8 佔 1 個位元組,而 INT4 量化僅佔 0.5 個位元組。最後設定額外開銷係數——對於短上下文的推論,1.2(保留 20% 緩衝)是相當合理的預設值;若是長上下文或需要批次處理,則應調高此數值。

FP32、FP16、INT8 與 INT4 精度下每個參數位元組數的長條對比
較低精度的格式每個參數占用較少位元組,因而減少顯示記憶體。

公式解析

$$\text{VRAM (GB)} = \text{Params (B)} \times \text{Bytes/Param} \times \text{Overhead}$$由於 10 億位元組 ≈ 1 GB,將以「十億」為單位的參數量乘上每個參數的位元組數,便能直接得到 GB 數。再乘上額外開銷係數,就能涵蓋執行階段所需的記憶體。

廣告

實際範例

以 7B 模型、採 FP16 精度、額外開銷係數 1.2 為例:$$7 \times 2 \times 1.2 = 16.8 \text{ GB}$$可輕鬆容納於 24 GB 的顯示卡上。同一個模型若改用 INT4:$$7 \times 0.5 \times 1.2 = 4.2 \text{ GB}$$連 8 GB 的 GPU 都能輕鬆執行。

示意圖:模型參數量乘以每個參數的位元組數與額外負擔係數,得出 GPU 的總顯示記憶體
顯示記憶體 = 參數量 × 每個參數的位元組數 × 額外負擔係數。

常見模型規模與精度的 VRAM 估算

表格採用計算機的公式,預設額外開銷係數為 1.2:\(\text{VRAM (GB)} = \text{Params (B)} \times \text{Bytes/Param} \times 1.2\)。每個參數的位元組數,FP16 為 2、INT8 為 1、INT4 為 0.5。「適用於」註記將每個結果與單一 GPU 的標稱容量進行比較,而實際可用容量會略低一些。

模型規模 FP16 (GB) INT8 (GB) INT4 (GB)
7B 16.8 8.4 4.2
13B 31.2 15.6 7.8
34B 81.6 40.8 20.4
70B 168 84 42
405B 972 486 243

各 GPU 等級可容納的估算值

  • 7B:FP16 需要 24 GB 的顯示卡(16.8 GB 超過 16 GB)。INT8 可放入 16 GB。INT4 可放入 8 GB。
  • 13B:FP16 需要 48 GB。INT8(15.6 GB)剛好能放入 16 GB,因此 24 GB 較為寬裕。INT4(7.8 GB)放入 8 GB 非常勉強,因此實際上建議選擇 16 GB。
  • 34B:FP16(81.6 GB)超過單張 80 GB 顯示卡,因此需要多張 GPU。INT8 可放入 48 GB。INT4 可放入 24 GB。
  • 70B:FP16(168 GB)至少需要三張 80 GB 的 GPU。INT8(84 GB)超過一張 80 GB 顯示卡,因此需要兩張 GPU,例如 2×48 GB 或 2×80 GB。INT4(42 GB)可放入 48 GB。
  • 405B:所有精度都需要多張 GPU。FP16 至少需要十三張 80 GB 顯示卡,INT8 至少七張,INT4 至少四張。

當估算值超過單張顯示卡的記憶體時,模型必須切分到多張 GPU 上(張量並行或管線並行)。此時互連速度與每張 GPU 的額外開銷就很重要,因此除了簡單的除法之外,應預留一些額外餘裕。

各精度格式的每參數位元組數

格式 每參數位元組數 常見用途
FP32 4 訓練基準、研究以及對數值敏感的工作;很少用於提供 LLM 服務
FP16 / BF16 2 標準的全品質推論,也是已發布檢查點常用的儲存格式
FP8 / INT8 1 在支援的硬體與軟體上高效提供服務,品質損失很小
INT4 0.5 為本地推論與消費級 GPU 進行的積極量化,會有一些品質損失

關於實際 4 位元格式的說明:實務上的 4 位元方案,例如 GGUF Q4_K_M、GPTQ 與 AWQ,會儲存每組的縮放係數與其他中繼資料。因此每個權重會比 0.5 位元組略多,大約為 0.55 至 0.65 位元組。對於這些格式,可以將額外開銷係數稍微調高,或將 INT4 的結果視為略微低估。

依使用情境的典型額外開銷係數

使用情境 額外開銷係數
短上下文、單一使用者 約 1.2
長上下文或中等批次處理 約 1.5 至 2.0
大量批次處理或極長上下文服務 2.0 或更高

這些是經驗法則,並非固定標準。您的推論引擎、上下文長度與並行數量,決定了實際數值。

廣告

解讀您的 VRAM 估算結果

此結果是一個近似、偏向下限的推論估算。它計算模型權重所需的記憶體,並加上一個固定百分比,用於 KV 快取、啟動值、CUDA 上下文以及框架緩衝區。它不是精確的測量,也不涵蓋訓練。訓練還需要儲存梯度與最佳化器狀態,可能需要數倍的記憶體。

KV 快取如何擴展

KV 快取會隨上下文長度、批次大小、層數以及鍵/值投影的隱藏維度呈線性成長:

$$\text{KV cache (bytes)} \approx 2 \times L \times d_{kv} \times T \times B \times b$$

其中 \(L\) 為層數,\(d_{kv}\) 為鍵/值寬度,\(T\) 為以 token 計的上下文長度,\(B\) 為批次大小(並行序列數),\(b\) 為每個快取元素的位元組數。係數 2 代表鍵與值兩者。舉例來說,一個採用標準多頭注意力、具有 32 層、隱藏維度 4096,且在 4096 個 token 下使用 FP16 快取的模型,需要 \(2 \times 32 \times 4096 \times 4096 \times 2 = 2{,}147{,}483{,}648\) 位元組,即每個序列約 2.1 GB。採用分組查詢注意力的模型,其 \(d_{kv}\) 較小,因此快取也小得多。在長上下文或大量並行使用者的情況下,快取可能與權重相當或更大,此時應調高額外開銷係數。

與可用記憶體比較

請將估算值與 GPU 的可用記憶體比較,而非標稱數字。驅動程式、CUDA 上下文與顯示輸出(若該 GPU 同時驅動顯示器)都會佔用一些記憶體,推論引擎通常也會保留其餘部分的一部分。標示為 24 GB 的顯示卡,對模型而言通常可用的容量明顯較少。如果您的估算值與顯示卡容量相差在百分之幾以內,應假設它無法放入。

多張 GPU

使用張量並行時,權重與 KV 快取會分散到各張 GPU 上,因此每張顯示卡大約只承載其所佔的份額。每張 GPU 仍需負擔自己的 CUDA 上下文與緩衝區,而通訊緩衝區又會增加額外用量,因此所有 GPU 的總用量會比單張 GPU 的估算值略高。

混合專家模型

對於混合專家(MoE)模型,請輸入總參數量,而非啟用參數量。每個 token 只會執行部分專家,這可減少運算量,但通常所有專家權重都必須常駐於 VRAM 中,因為路由器可能選擇其中任何一個。

以上僅為規劃用途的一般資訊。請以您自己的軟體與工作負載檢查實際用量。

常見問題

為什麼實際用量會比純權重高?KV 快取會隨上下文長度與批次大小而增加,框架本身也會為啟用值與緩衝區保留記憶體——這正是額外開銷係數所要近似估算的部分。

這有包含訓練所需的記憶體嗎?沒有。訓練因為要儲存最佳化器狀態與梯度,大約需要 3~4 倍的記憶體;本估算僅針對推論(inference)。

我該用多少的額外開銷係數?短提示詞約用 1.2;長上下文或大量批次處理則建議使用 1.5~2.0 以上。

最後更新:

數位生活熱門計算器

查看全部數位生活計算器