TF-IDF 计算器

TF-IDF 计算器

增长中 AI Skill PRO

输入计算

数学公式

TF-IDF=TF×IDF其中{TF=出现次数: 目标词 in 文档总词数: 文档IDF=ln⁡(1+语料库规模包含该词的文档数+1)\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{其中}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{出现次数: }\text{目标词}\text{ in }\text{文档}}{\text{总词数: }\text{文档}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{语料库规模}}{\text{包含该词的文档数} + 1}\right) \end{aligned} \right. \end{gathered}
使用统计

广告

结果

词频(TF) 0.125
逆文档频率(IDF) 2.3889
TF-IDF 得分 0.2986

可视化展示

TF: 0.125
IDF: 2.3889
TF-IDF: 0.2986
TF
IDF
TF-IDF

报告本页错误

什么是 TF-IDF 计算器?

TF-IDF(Term Frequency–Inverse Document Frequency,即词频—逆文档频率)是一种广泛应用于信息检索、搜索引擎和文本挖掘的数值统计方法,用来衡量某个词对一篇文档(相对于整个文档集合,即"语料库")的重要程度。使用这款计算器,你只需输入一篇文档、一个目标词、语料库中的文档总数,以及其中包含该词的文档数量,工具就会自动算出词频(TF)、逆文档频率(IDF)以及二者结合后的 TF-IDF 得分。

如何使用

  • 文档:把你想要分析的文档正文粘贴进来。
  • 目标词:填入你想要评分的单个词语或短语。
  • 语料库规模:整个文档集合中的文档总数(\(N\))。
  • 包含该词的文档数:有多少篇文档至少出现过这个词一次。

计算器会统计目标词在文档中出现的次数,再除以文档的总词数,然后结合该词在整个语料库中的稀有程度,得出最终结果。

公式详解

标准的 TF-IDF 计算公式如下:

$$\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{where}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{count of }\text{Term}\text{ in }\text{Document}}{\text{total words in }\text{Document}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{Corpus Size}}{\text{Docs with Term} + 1}\right) \end{aligned} \right. \end{gathered}$$
  • TF =(目标词在文档中出现的次数)÷(文档的总词数)
  • IDF = \(\log(N \div \text{包含该词的文档数})\)
  • TF-IDF = \(\text{TF} \times \text{IDF}\)

TF-IDF 得分越高,说明该词在你的文档中频繁出现、却在整个语料库中很少出现——这强烈表明这个词对该文档具有独特的代表性和实际意义。

广告
展示包含某个词的文档越多、IDF 权重越低的图表
越稀有的词获得越高的 IDF 权重;在许多文档中常见的词则被降低权重。

实例演算

假设你的文档共有 100 个词,"营销"这个词出现了 5 次;你的语料库中共有 1,000 篇文档,其中有 100 篇提到了"营销"。

  • TF = \(5 \div 100 = 0.05\)
  • IDF = \(\log(1000 \div 100) = \log(10) = 1\)(以 10 为底)
  • TF-IDF = \(0.05 \times 1 = 0.05\)

如果"营销"只出现在 10 篇文档中,IDF 就会上升到 \(\log(100) = 2\),得分也随之翻倍至 \(0.10\)——这正体现了对更稀有、更具区分度词语的"奖励"。

关键术语和变量

术语 符号 定义
术语 \(t\) 被评分的词、词根或短语。任何被算作一个术语的内容必须在整个语料库中保持一致的定义。
文档 \(d\) 被评分的文本单位——文章、页面、产品描述、支持工单。TF 总是相对于单个文档的。
语料库 \(D\) 用于判断罕见性的文档的完整集合。IDF 是语料库的属性,而不是文档的属性。
语料库大小 \(N\) 语料库中的文档数,包括被评分的文档。
文档频率 \(df\) 包含该术语至少一次的文档数。文档计数,而不是出现次数计数,因此 \(0 \le df \le N\)。
原始术语计数 \(tf\) 该术语在单个文档内出现的次数——未归一化的计数。
术语频率 TF 归一化的计数,\(tf\) 除以文档的总单词数。0 到 1 之间的比例,消除了文档长度的影响。
逆文档频率 IDF 全局罕见性的对数度量。当术语出现在少数文档中时较大,出现在许多文档中时较小。
TF-IDF — 乘积 \(\text{TF} \times \text{IDF}\):当术语在局部频繁且全局罕见时较高。
分词 — 将原始文本分割成可计数的标记——通常包括转换为小写、移除标点符号,以及决定如何处理数字、连字符和缩写。它既确定了 TF 的分母,也确定了什么被算作匹配。
停用词 — 一种非常常见的功能词(the、of、and、is)携带很少的主题信息。通常在评分前被移除,尽管 TF-IDF 由于这些词的 IDF 接近最小值而自行抑制它们。
平滑 — 公式 \(\ln(1 + N/(df+1))\) 中的 \(+1\) 项。分母中的 \(+1\) 防止当 \(df = 0\) 时的除以零(语料库中未见过的术语);对数内的 \(+1\) 保持参数大于 1,因此结果始终严格为正,永不为零或负数。
对数基数 \(\ln\), \(\log_{10}\) IDF 中使用的对数基数。改变基数只是将每个 IDF 乘以常数——\(\ln x = \log_{10}x \times \ln 10 \approx 2.3026\,\log_{10}x\)——所以术语的排名不变,而绝对数字会改变。始终说明使用的基数。
词汇表 \(V\) 分词后语料库中的不同术语集合。其大小是 TF-IDF 向量空间的维度。

注意 TF-IDF 是一类公式而不是单一公式:变体包括原始计数 TF、对数归一化 TF \(1 + \ln(tf)\)、增强 TF 以及未平滑或概率性 IDF。不同变体的分数不应直接比较。

广告
将 TF-IDF 表示为词频与逆文档频率乘积的示意图
TF-IDF 将一个词在单个文档中的出现频率与它在整个语料库中的稀有程度结合起来。

常见问题

IDF 为什么要用对数?对数可以削弱极其罕见词语的影响,避免某个词仅出现一次就主导整个得分,从而让结果更加均衡合理。

该用哪个对数底数?以 10 为底和自然对数(\(\ln\))都很常见。底数只是对结果做统一的等比缩放,因此在同一语料库内进行比较时,结果依然有效可靠。

得分为零代表什么?如果某个词出现在每一篇文档中(即 \(N\) 等于包含该词的文档数),IDF 就会变成 \(\log(1) = 0\),使整个 TF-IDF 得分归零——说明这个词不具备任何区分价值。

最后更新:

商业和营销热门计算器

查看全部商业和营销计算器