1. 引言：什么是TF-IDF？
在信息检索和文本挖掘领域，如何量化一个词语在一篇文档中的重要程度，是一个核心问题。TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）正是解决这一问题的经典且强大的统计方法。
简单来说，TF-IDF用于评估一个词语对于一个文档集或语料库中的某一份文档的重要程度。它的核心思想是：一个词语在一篇文档中出现的频率越高（TF越高），同时在所有文档中出现的频率越低（IDF越高），则该词语对该文档的代表性就越强，其TF-IDF值也就越高。
例如，在一组关于“人工智能”的文档中，“算法”、“模型”等词可能频繁出现，因此它们的TF值高。但由于它们在几乎所有文档中都出现，IDF值会很低，导致TF-IDF值不高。而像“卷积神经网络”这样的词，如果只在一篇专门讲解该技术的文档中高频出现，那么它在这篇文档中的TF-IDF值就会非常高，成为该文档的关键词。
TF-IDF因其简单、有效，被广泛应用于：
- 搜索引擎：对用户查询和网页文档进行相关性排序。
- 文本分类与聚类：将文档转化为特征向量，作为机器学习模型的输入。
- 关键词自动提取：从单篇文档中提取核心词汇。
- 推荐系统：计算用户兴趣与物品描述的相似度。
本文将深入剖析TF-IDF的原理、计算公式、优缺点，并通过Python代码示例展示其实际应用。
2. TF-IDF的核心原理与计算
TF-IDF由两部分组成：词频（TF）和逆文档频率（IDF）。其值是两者的乘积。
2.1 词频（Term Frequency, TF）
词频衡量一个词语在单篇文档中出现的频繁程度。直观上，一个词在文档中出现的次数越多，它对于该文档可能就越重要。常见的TF计算方法有：
最常用的是标准化计数，因为它可以消除文档长度不同带来的影响。
2.2 逆文档频率（Inverse Document Frequency, IDF）
逆文档频率衡量一个词语在整个文档集合中的普遍重要性。如果一个词在越多的文档中出现，说明它越常见、越没有区分度，其IDF值就越低；反之，如果一个词只在少数几篇文档中出现，则其IDF值越高，对那几篇文档的代表性就越强。
IDF的标准计算公式为： IDF(t, D) = log( N / (1 + |{d ∈ D : t ∈ d}|) )
其中：
- N：语料库中文档的总数。
- |{d ∈ D : t ∈ d}|：包含词语t的文档数量（即文档频率）。
- 分母加1是拉普拉斯平滑，防止分母为零（即某个词在所有文档中都不出现的情况）。
2.3 TF-IDF计算
最终，词语t在文档d中的TF-IDF值为： TF-IDF(t, d, D) = TF(t, d) × IDF(t, D)
通过计算文档中每个词的TF-IDF值，我们可以将一篇文档表示成一个高维向量，向量中每个维度对应一个词的TF-IDF权重。这就是经典的**词袋模型（Bag of Words）**的加权版本。
3. TF-IDF的优缺点分析
3.1 优点
- 简单有效：原理直观，计算复杂度低，易于理解和实现。
- 无监督：不需要标注数据，完全基于统计信息。
- 结果可解释：TF-IDF值高的词可以直接作为关键词，便于分析。
- 缓解常见词影响：通过IDF部分，自动降低“的”、“是”、“在”等停用词以及领域通用高频词（如“计算机”之于IT文档）的权重。
3.2 缺点与局限性
- 无法捕捉语义：基于词袋模型，完全忽略词序、语法和上下文语义。“苹果公司”和“吃苹果”中的“苹果”会被视为同一个词。
- 无法处理未登录词：对于训练语料库中未出现过的词，无法计算其IDF值。
- 假设词独立性：假设词语之间相互独立，这与语言事实不符。
- 偏向长文档：即使经过标准化，长文档仍然可能包含更多独特词汇，从而拥有更高的TF-IDF向量范数。
- 静态表示：一旦语料库确定，每个词的IDF就固定了，无法动态适应新文档或领域变化。
为了克服这些缺点，后续发展出了Word2Vec、GloVe、BERT等基于深度学习的词向量和上下文嵌入模型。但TF-IDF因其简洁和在某些任务上的良好表现，至今仍是文本处理中一个重要的基线方法。
4. Python实战：使用Scikit-learn计算TF-IDF
下面我们使用Python的scikit-learn库来演示TF-IDF的完整流程，包括文本预处理、向量化以及结果分析。
4.1 环境准备与数据
首先，确保安装了必要的库，并准备一个简单的文档集合（语料库）。
# 导入必要库
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
# 示例文档集合（语料库）
corpus = [
"我喜欢吃苹果和香蕉", # 文档1
"苹果公司发布了新款手机", # 文档2
"香蕉是一种热带水果，营养丰富", # 文档3
"手机和电脑都是电子产品" # 文档4
]
4.2 创建TF-IDF向量器并拟合
TfidfVectorizer默认使用L2范数对输出向量进行归一化，并采用对数词频和标准IDF公式。
# 初始化TfidfVectorizer，可以添加中文停用词等参数
# 默认会转换为小写，但对中文无效。这里我们使用默认设置。
vectorizer = TfidfVectorizer()
# 拟合语料库并转换文档为TF-IDF矩阵
tfidf_matrix = vectorizer.fit_transform(corpus)
4.3 查看词汇表与TF-IDF矩阵
转换后，我们可以查看生成的词汇表以及稠密化后的TF-IDF矩阵。
# 获取特征词列表（词汇表）
feature_names = vectorizer.get_feature_names_out()
print("词汇表（特征词）：")
print(feature_names)
print("\\nTF-IDF矩阵形状（文档数 × 词汇表大小）：", tfidf_matrix.shape)
# 将稀疏矩阵转换为稠密数组，并转换为DataFrame便于查看
df_tfidf = pd.DataFrame(tfidf_matrix.toarray(), columns=feature_names, index=[f"文档{i+1}" for i in range(len(corpus))])
print("\\nTF-IDF矩阵（DataFrame视图）：")
print(df_tfidf.round(4))
运行上述代码，输出结果类似如下（具体数值可能因版本略有差异）：
词汇表（特征词）：
['一款' '产品' '发布' '喜欢' '和' '手机' '新款' '是' '有' '热带' '电脑' '苹果' '营养丰富' '香蕉' '都' '电子']
TF-IDF矩阵形状（文档数 × 词汇表大小）： (4, 16)
TF-IDF矩阵（DataFrame视图）：
一款 产品 发布 喜欢 和 手机 新款 是 有 热带 电脑 苹果 营养丰富 香蕉 都 电子
文档1 0.0000 0.0000 0.0000 0.604 0.460 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.460 0.0000 0.460 0.0000 0.0000
文档2 0.0000 0.0000 0.532 0.0000 0.405 0.405 0.532 0.0000 0.0000 0.0000 0.0000 0.405 0.0000 0.0000 0.0000 0.0000
文档3 0.0000 0.0000 0.0000 0.0000 0.447 0.0000 0.0000 0.447 0.447 0.447 0.0000 0.0000 0.447 0.447 0.0000 0.0000
文档4 0.0000 0.447 0.0000 0.0000 0.447 0.447 0.0000 0.0000 0.0000 0.0000 0.447 0.0000 0.0000 0.0000 0.447 0.447
结果分析：
- 在文档1（“我喜欢吃苹果和香蕉”）中，“喜欢”、“苹果”、“香蕉”的TF-IDF值较高，而“和”作为常见词，权重相对较低。
- 在文档2（“苹果公司发布了新款手机”）中，“发布”、“新款”、“手机”、“苹果”权重较高。注意这里的“苹果”与文档1中的“苹果”同形异义，但TF-IDF无法区分。
- 文档4中“产品”、“电子”等词获得了较高权重，因为它们在其他文档中出现较少（IDF高）。
4.4 对新文档进行向量化
训练好的vectorizer可以直接用于转换新的文档。
# 新文档
new_doc = ["我喜欢苹果手机和香蕉手机"]
# 使用已有的vectorizer进行转换（注意：使用transform，不是fit_transform）
new_tfidf = vectorizer.transform(new_doc)
print("\\n新文档的TF-IDF向量：")
print(pd.DataFrame(new_tfidf.toarray(), columns=feature_names))
5. 进阶话题与优化
5.1 使用停用词（Stop Words）
停用词如“的”、“了”、“和”等对文档区分度贡献很小，可以过滤掉以提高效率和效果。
# 使用中文停用词列表（示例）
stop_words = ["和", "是", "都", "了", "的"]
vectorizer_stop = TfidfVectorizer(stop_words=stop_words)
tfidf_matrix_stop = vectorizer_stop.fit_transform(corpus)
print("使用停用词后的词汇表：", vectorizer_stop.get_feature_names_out())
5.2 N-gram特征
单个词（unigram）可能丢失短语信息。使用N-gram可以捕捉像“苹果公司”、“热带水果”这样的组合。
# 使用unigram和bigram
vectorizer_ngram = TfidfVectorizer(ngram_range=(1, 2))
tfidf_matrix_ngram = vectorizer_ngram.fit_transform(corpus)
print("N-gram特征示例：", vectorizer_ngram.get_feature_names_out()[:10]) # 查看前10个特征
5.3 不同的TF和IDF变体
TfidfVectorizer提供了参数来调整TF和IDF的计算方式：
- sublinear_tf=True：使用 1 + log(TF) 代替原始的TF值，进一步抑制高频词的影响。
- smooth_idf=False：使用原始的IDF公式 log(N / df)，不加1平滑（要求df>0）。
- norm=None：取消向量归一化。
vectorizer_custom = TfidfVectorizer(sublinear_tf=True, smooth_idf=False, norm='l2')
5.4 TF-IDF在文本分类中的应用
TF-IDF向量常作为朴素贝叶斯、支持向量机（SVM）、逻辑回归等分类器的输入特征。
from sklearn.model_selection import train_test_split
from sklearn.svm import LinearSVC
from sklearn.metrics import classification_report
# 假设我们有标签 y
# X_train, X_test, y_train, y_test = train_test_split(tfidf_matrix, y, test_size=0.2)
# clf = LinearSVC().fit(X_train, y_train)
# y_pred = clf.predict(X_test)
# print(classification_report(y_test, y_pred))
6. 总结
TF-IDF是一个历经时间考验的文本特征提取方法。它通过词频（TF）和逆文档频率（IDF）的巧妙结合，能够有效地将文本数据转化为数值向量，并突出文档中的关键词。
核心要点回顾：
尽管TF-IDF无法理解语义，但在许多实际任务中，尤其是在数据量不大或需要强可解释性的场景下，它仍然是一个高效且可靠的选择。理解TF-IDF是进入自然语言处理领域的重要一步，也为学习更复杂的文本表示方法奠定了坚实的基础。
7. 进一步学习资源
- 官方文档：
- scikit-learn: TfidfVectorizer
- 经典论文：
- Karen Spärck Jones. A statistical interpretation of term specificity and its application in retrieval. Journal of Documentation, 1972. (奠定了IDF的基础)
- 相关技术：
- 词袋模型（Bag of Words）
- BM25：基于TF-IDF改进的搜索引擎排序函数。
- Word2Vec / GloVe：基于神经网络的词向量方法。
- BERT：基于Transformer的上下文预训练模型。
