TF-IDF 基础知识详解：从原理到应用

摘要：本文系统介绍了TF-IDF（词频-逆文档频率）的基础知识，包括其定义、核心思想、计算公式（TF、IDF及TF-IDF值）、应用场景（搜索引擎、文本分类、关键词提取等）、优缺点分析，并提供了Python实践示例。TF-IDF通过统计词语在文档中的频率和在整个语料库中的罕见程度来评估词语重要性，是自然语言处理和信息检索领域的经典算法。

1. 什么是 TF-IDF？

TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）是一种用于信息检索与文本挖掘的经典加权技术。它通过统计方法评估一个词语对于一个文档集或一个语料库中的其中一份文档的重要程度。

TF-IDF 的核心思想是：一个词语在一篇文档中出现的频率越高，同时在所有文档中出现的频率越低，则该词语对该文档的代表性越强，权重也越高。 这种加权方式能够有效过滤掉常见但无意义的词语（如“的”、“是”、“在”等停用词），同时突出文档中的关键词。

2. TF-IDF 的计算原理

TF-IDF 由两部分组成：词频（TF）和逆文档频率（IDF）。

2.1 词频（Term Frequency, TF）

词频表示某个词语在当前文档中出现的频率。其基本计算公式为：

TF(t, d) = (词语 t 在文档 d 中出现的次数) / (文档 d 中的总词数)

例如，一篇 100 个词的文档中，“算法”一词出现了 5 次，则其 TF 值为 5/100 = 0.05。

为了抑制长文档中词频可能过高的影响，通常会对 TF 进行归一化处理，常见的方法是对原始词频取对数或使用布尔频率（出现为 1，不出现为 0）。

2.2 逆文档频率（Inverse Document Frequency, IDF）

逆文档频率衡量一个词语的普遍重要性。如果一个词语在越多的文档中出现，说明它越常见，其区分文档的能力就越弱，IDF 值就越小。计算公式为：

IDF(t, D) = log(语料库中文档总数 N / (包含词语 t 的文档数 + 1))

分母加 1 是为了避免分母为 0（即某个词在所有文档中都不出现）。

例如，一个包含 1000 篇文档的语料库中，“的”字出现在 990 篇文档里，其 IDF 值为 log(1000 / (990+1)) ≈ log(1.009) ≈ 0.004，权重极低。而“量子计算”一词只出现在 5 篇文档中，其 IDF 值为 log(1000 / (5+1)) ≈ log(166.67) ≈ 5.12，权重很高。

2.3 TF-IDF 值

最终，词语 t 对于文档 d 在语料库 D 中的 TF-IDF 值为：

TF-IDF(t, d, D) = TF(t, d) * IDF(t, D)

TF-IDF 值越高，表示该词语对当前文档越重要，越能代表该文档的主题。

3. TF-IDF 的应用场景

• 搜索引擎：用于对查询词和网页内容进行相关性评分，是早期搜索引擎（如 Google）的核心排序因子之一。
• 文本分类与聚类：将文档转换为基于 TF-IDF 权重的向量，作为机器学习模型（如 SVM、朴素贝叶斯）的输入特征。
• 关键词提取：计算文档中每个词的 TF-IDF 值，取排名靠前的词作为文档的关键词。
• 文档相似度计算：通过计算两篇文档 TF-IDF 向量的余弦相似度，来衡量它们的主题相似性。
• 推荐系统：在基于内容的推荐中，用 TF-IDF 向量表示物品（如文章、商品描述），进而计算用户偏好与物品的匹配度。

4. TF-IDF 的优缺点

4.1 优点

• 简单有效：计算简单，易于理解和实现，且在多数文本任务中表现良好。
• 过滤常见词：通过 IDF 部分自动降低常见词的权重，无需依赖固定的停用词表。
• 突出关键词：能有效识别出文档中具有区分度的关键词。
• 可解释性强：权重由明确的统计量构成，结果易于解释。

4.2 局限性

• 无法捕捉语义：将词语视为独立的特征，无法理解同义词、多义词以及词语之间的语义关系（如“电脑”和“计算机”被视为两个完全不同的词）。
• 忽略词序：基于词袋模型（Bag-of-Words），丢失了文本的语法和词序信息。
• 依赖语料库：IDF 的计算依赖于整个语料库，当语料库变化时，词语的 IDF 值会发生变化。
• 对长文档的偏向：长文档中词频可能更高，即使词语的重要性相同，其 TF 值也可能更大。

5. 实践示例（Python）

以下是一个使用 Python 的 scikit-learn 库计算 TF-IDF 的简单示例：

from sklearn.feature_extraction.text import TfidfVectorizer
示例文档集
corpus = [
'我喜欢吃苹果和香蕉',
'他喜欢吃香蕉和橘子',
'苹果和橘子都是水果'
]
创建 TF-IDF 向量化器
vectorizer = TfidfVectorizer()
拟合语料库并转换
tfidf_matrix = vectorizer.fit_transform(corpus)
查看特征词（词汇表）
print("特征词：", vectorizer.get_feature_names_out())
查看 TF-IDF 矩阵（稀疏矩阵表示）
print("TF-IDF 矩阵形状：", tfidf_matrix.shape)
print("TF-IDF 矩阵（稠密形式）：\\n", tfidf_matrix.toarray())
对于新文档进行转换
new_doc = ['我喜欢吃苹果']
new_tfidf = vectorizer.transform(new_doc)
print("新文档的 TF-IDF 向量：", new_tfidf.toarray())

输出结果会显示每个文档的 TF-IDF 向量，其中“苹果”、“香蕉”、“橘子”等词在特定文档中会有较高的权重。

接下来，我们可以利用计算出的 TF-IDF 向量进行文档相似度计算。文档相似度通常使用余弦相似度来衡量，它计算两个向量之间的夹角余弦值，值越接近 1 表示文档越相似。以下代码展示了如何计算示例中三篇文档的余弦相似度矩阵：

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
使用前面计算得到的 TF-IDF 矩阵
tfidf_matrix 是之前 fit_transform 得到的稀疏矩阵
计算文档间的余弦相似度矩阵
similarity_matrix = cosine_similarity(tfidf_matrix)
print("文档余弦相似度矩阵：")
print(similarity_matrix)
print()
为了更好地理解，我们可以将相似度矩阵格式化输出
print("文档相似度分析：")
doc_names = ["文档1: '我喜欢吃苹果和香蕉'",
"文档2: '他喜欢吃香蕉和橘子'",
"文档3: '苹果和橘子都是水果'"]
for i in range(len(doc_names)):
for j in range(i+1, len(doc_names)):
similarity = similarity_matrix[i][j]
print(f"{doc_names[i]} 与 {doc_names[j]} 的相似度: {similarity:.4f}")
也可以计算每篇文档与自身的相似度（应为1.0）
print("\\n每篇文档与自身的相似度：")
for i in range(len(doc_names)):
print(f"{doc_names[i]}: {similarity_matrix[i][i]:.4f}")

代码解释与结果分析：

通过这个扩展示例，我们可以看到 TF-IDF 不仅能够将文本转换为数值向量，还能进一步支持文档相似度计算等高级文本分析任务，体现了其在文本处理中的实用价值。

6. 总结

TF-IDF 是自然语言处理和信息检索领域的基石算法之一。尽管在深度学习时代，词嵌入（如 Word2Vec、BERT）能够更好地捕捉语义信息，但 TF-IDF 因其简单、高效、可解释性强等优点，依然在众多实际场景（如快速原型、基线模型、资源受限环境）中发挥着重要作用。理解 TF-IDF 是深入文本分析领域的重要一步。