TF-IDF 計算機

TF-IDF 計算機

熱門 AI Skill PRO

輸入計算

數學公式

TF-IDF=TF×IDF其中{TF=出現次數: 關鍵詞 in 文件總詞數: 文件IDF=ln⁡(1+語料庫總數含該詞的文件數+1)\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{其中}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{出現次數: }\text{關鍵詞}\text{ in }\text{文件}}{\text{總詞數: }\text{文件}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{語料庫總數}}{\text{含該詞的文件數} + 1}\right) \end{aligned} \right. \end{gathered}
使用統計

廣告

結果

詞頻(TF) 0.125
逆文件頻率(IDF) 2.3889
TF-IDF 分數 0.2986

視覺化圖示

TF: 0.125
IDF: 2.3889
TF-IDF: 0.2986
TF
IDF
TF-IDF

回報本頁錯誤

什麼是 TF-IDF 計算機?

TF-IDF(詞頻–逆文件頻率,Term Frequency–Inverse Document Frequency)是資訊檢索、搜尋引擎與文字探勘中常用的一項數值統計,用來衡量某個詞對「單一文件」相對於「整批文件集合」(稱為語料庫,corpus)的重要程度。透過這個計算機,你可以輸入一份文件、一個目標關鍵詞、語料庫中的文件總數,以及其中含有該詞的文件數量,系統就會算出詞頻(TF)、逆文件頻率(IDF),以及兩者相乘後的 TF-IDF 權重分數。

使用方式

  • 文件:貼上你想分析的文件內容。
  • 關鍵詞:輸入你想評分的單一字詞或片語。
  • 語料庫總數:整批文件集合中的文件總數(\(N\))。
  • 含該詞的文件數:至少出現過該詞一次的文件有幾份。

計算機會統計該詞在你的文件中出現的次數,除以文件的總字數,再結合該詞在整個語料庫中的稀有程度,得出最終分數。

公式說明

標準的 TF-IDF 公式如下:

  • TF=(該詞在文件中出現的次數)÷(文件的總字數)
  • IDF=log(\(N\) ÷ 含該詞的文件數)
  • TF-IDF=TF × IDF

$$\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{where}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{count of }\text{Term}\text{ in }\text{Document}}{\text{total words in }\text{Document}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{Corpus Size}}{\text{Docs with Term} + 1}\right) \end{aligned} \right. \end{gathered}$$

TF-IDF 分數越高,代表這個詞在你的文件中頻繁出現,但在整個語料庫中卻很少見——這是個強烈訊號,說明該詞對這份文件具有獨特性與代表性。

廣告
展示包含某個詞的文件越多、IDF 權重越低的圖表
越稀有的詞獲得越高的 IDF 權重;在許多文件中常見的詞則被降低權重。

實際範例

假設你的文件共有 100 個字,而「行銷」這個詞出現了 5 次。你的語料庫共有 1,000 份文件,其中有 100 份提到「行銷」。

  • TF=\(5 \div 100 = 0.05\)
  • IDF=\(\log(1000 \div 100) = \log(10) = 1\)(以 10 為底)
  • TF-IDF=\(0.05 \times 1 = 0.05\)

如果「行銷」只出現在 10 份文件中,IDF 就會上升到 \(\log(100) = 2\),分數隨之翻倍至 \(0.10\)——這正是 TF-IDF 給越稀有、越具辨識度的詞更高權重的原因。

主要術語和變數

術語 符號 定義
術語 \(t\) 被評分的單字、詞幹或短語。無論什麼算作一個術語,都必須在整個語料庫中定義一致。
文件 \(d\) 被評分的一個文本單位——一篇文章、一個頁面、一個產品描述、一個支持工單。TF 始終相對於單個文件。
語料庫 \(D\) 用來判斷罕見性的完整文件集合。IDF 是語料庫的屬性,而不是文件的屬性。
語料庫大小 \(N\) 語料庫中的文件數量,包括正在評分的文件。
文件頻率 \(df\) 有多少個文件至少包含一次該術語。是文件計數,永遠不是出現次數,所以 \(0 \le df \le N\)。
原始術語計數 \(tf\) 術語在單個文件中出現的次數——未標準化的計數。
術語頻率 TF 標準化計數,即 \(tf\) 除以文件的總字數。0 到 1 之間的比例,消除了文件長度的影響。
逆文件頻率 IDF 全局罕見性的對數度量。當術語在少數文件中出現時較大,在許多文件中出現時較小。
TF-IDF — 乘積 \(\text{TF} \times \text{IDF}\):當術語在局部頻繁且全局罕見時較高。
分詞 — 將原始文本拆分為可計數的標記——通常包括小寫轉換、移除標點符號,以及決定如何處理數字、連字符和縮寫。它固定了 TF 分母和作為匹配項的內容。
停用詞 — 非常常見的功能詞(the、of、and、is),帶有很少的主題信息。評分前通常被移除,儘管 TF-IDF 因為這些詞的 IDF 接近最小值而自動抑制這些詞。
平滑 — 公式 \(\ln(1 + N/(df+1))\) 中的 \(+1\) 項。分母中的 \(+1\) 防止了當 \(df = 0\) 時的除零錯誤(語料庫中未出現的術語);對數內的 \(+1\) 使參數保持在 1 以上,因此結果始終嚴格為正,永遠不為零或負。
對數底 \(\ln\), \(\log_{10}\) IDF 中使用的對數底。改變底數只會將每個 IDF 乘以一個常數——\(\ln x = \log_{10}x \times \ln 10 \approx 2.3026\,\log_{10}x\)——因此術語的 排名 保持不變,但絕對數字會改變。始終說明你使用的底數。
詞彙 \(V\) 標記化後語料庫中所有不同術語的集合。其大小是 TF-IDF 向量空間的維數。

注意 TF-IDF 是一個公式族而不是單個公式:變體包括原始計數 TF、對數標準化 TF \(1 + \ln(tf)\)、擴充 TF 和未平滑或概率 IDF。不同變體的分數不應直接比較。

廣告
將 TF-IDF 表示為詞頻與逆文件頻率乘積的示意圖
TF-IDF 將一個詞在單一文件中的出現頻率與它在整個語料庫中的稀有程度結合起來。

常見問題

為什麼 IDF 要取對數?取對數能抑制極度稀有詞所造成的過度影響,避免單一次出現就主導整個分數,讓結果更為平衡。

應該用哪一種對數底數?以 10 為底(\(\log\))與自然對數(\(\ln\))都很常見。底數只是把結果做等比例縮放,因此只要在同一個語料庫內比較,結果依然有效。

分數為 0 代表什麼?如果某個詞出現在每一份文件中(\(N\)=含該詞的文件數),IDF 就會變成 \(\log(1) = 0\),使得 TF-IDF 分數歸零——表示這個詞完全沒有辨識價值。

最後更新:

商業和營銷熱門計算器

查看全部商業和營銷計算器