一文搞懂 BM25：搜索引擎背后的词频打分算法

在互联网信息爆炸的时代，搜索引擎、智能知识库、RAG检索增强生成系统已经成为我们获取信息的核心工具。无论是百度、谷歌的全网搜索，还是企业内部文档检索、AI知识库问答，背后都离不开一套核心的文本相关性打分算法——BM25。很多技术从业者在落地RAG项目时，过度依赖向量语义检索，却忽略了BM25稀疏检索的核心价值，最终出现专有名词漏召回、关键词匹配不准、检索结果漂移等问题。
BM25（Best Matching 25）是目前工业界全文检索的基准算法，是Elasticsearch、OpenSearch、Solr等主流检索引擎的默认打分算法，也是RAG混合检索体系中不可或缺的核心模块。本文将从零开始，循序渐进讲解BM25算法的前世今生、核心原理、数学公式、参数机制、代码实现、优缺点及工程落地技巧，结合通俗案例与可运行代码，帮助大家彻底吃透这一检索基石算法。
一、检索算法演进：从TF-IDF到BM25
想要理解BM25的优势，必须先了解传统文本检索算法的痛点。在BM25诞生之前，TF-IDF是最主流的文本相关性打分算法，但其存在诸多天然缺陷，而BM25正是针对TF-IDF的短板优化而来。
1.1 TF-IDF核心逻辑与缺陷
TF-IDF由词频（TF）和逆文档频率（IDF）两部分组成，核心逻辑是：一个词语在当前文档中出现次数越多、在全局文档中出现越少，该词语对当前文档的权重越高。
词频TF（Term Frequency）：表示关键词在单篇文档中的出现次数，次数越高，相关性越高。
逆文档频率IDF（Inverse Document Frequency）：衡量词语的稀缺性，全局所有文档中出现频次越低的词，区分度越高，权重越大。
TF-IDF的核心缺陷有两个，也是检索场景中最致命的问题：
第一，词频无上限，过度堆砌权重。TF-IDF中关键词出现次数越高，分数无限上涨。如果一篇文档反复堆砌“人工智能”“大数据”等关键词，算法会误判该文档相关性极高，造成恶意刷分、冗余文档置顶的问题。
第二，未做文档长度归一化。长文档天然包含更多词汇，关键词命中概率远大于短文档。哪怕长文档只是随机包含目标关键词，TF-IDF打分也会高于精准匹配的短文档，导致检索结果偏向长文本，精准度严重下降。
1.2 BM25的诞生与核心优势
BM25算法由英国剑桥大学计算机实验室在1994年提出，是对传统概率检索模型的优化迭代。它完美解决了TF-IDF的两大核心痛点，同时保留了关键词匹配的精准性，成为工业界通用检索基准。
BM25的核心优化亮点：

class BM25:
def init(self, documents, k1=1.2, b=0.75):
# 初始化超参数
self.k1 = k1
self.b = b
# 原始文档列表
self.documents = documents
# 分词后的文档列表
self.tokenized_docs = [list(jieba.cut(doc)) for doc in documents]
# 文档总数
self.N = len(self.tokenized_docs)
# 每篇文档的长度
self.doc_lengths = [len(doc) for doc in self.tokenized_docs]
# 全局平均文档长度
self.avgdl = sum(self.doc_lengths) / self.N if self.N != 0 else 0
# 词汇-文档频次映射：记录每个词出现在多少篇文档中
self.doc_freq = self._calculate_doc_freq()
# 预计算所有词汇的IDF值
self.idf = self._calculate_idf()

def _calculate_doc_freq(self):
"""计算每个词汇的文档频次"""
doc_freq = {}
for doc in self.tokenized_docs:
# 去重，一篇文档中多次出现只算一次
unique_words = set(doc)
for word in unique_words:
doc_freq[word] = doc_freq.get(word, 0) + 1
return doc_freq

def _calculate_idf(self):
"""计算所有词汇的IDF值"""
idf_dict = {}
for word, n in self.doc_freq.items():
# BM25优化版IDF公式
idf = math.log((self.N – n + 0.5) / (n + 0.5) + 1)
idf_dict[word] = idf
return idf_dict

def _get_tf(self, word, doc):
"""计算单个词在单篇文档中的词频"""
return doc.count(word)

def score(self, query, doc_idx):
"""计算单篇文档与查询语句的相关性分数"""
# 查询语句分词
query_tokens = list(jieba.cut(query))
# 当前文档分词结果与长度
doc_tokens = self.tokenized_docs[doc_idx]
doc_len = self.doc_lengths[doc_idx]

total_score = 0.0
for word in query_tokens:
# 忽略不存在的词汇
if word not in self.idf:
continue
# 获取词频与IDF
tf = self._get_tf(word, doc_tokens)
idf = self.idf[word]
# BM25核心打分公式
numerator = tf * (self.k1 + 1)
denominator = tf + self.k1 * (1 – self.b + self.b * doc_len / self.avgdl)
total_score += idf * (numerator / denominator)
return total_score

def search(self, query, top_k=3):
"""检索入口，返回top-k匹配文档"""
# 计算所有文档分数
score_list = [(idx, self.score(query, idx)) for idx in range(self.N)]
# 按分数降序排序
score_list.sort(key=lambda x: x[1], reverse=True)
# 筛选top-k结果
top_results = score_list[:top_k]
# 拼接结果
res = [(self.documents[idx], score) for idx, score in top_results]
return res

测试案例

if name == “main”:
# 测试文档库
test_docs = [
“BM25是搜索引擎核心的词频打分算法，用于文本相关性检索”,
“向量检索基于语义相似度匹配，擅长自然语言问句检索”,
“RAG混合检索结合BM25稀疏检索与向量稠密检索，兼顾精准与语义”,
“TF-IDF算法存在词频无上限、文档长度未归一化的缺陷”,
“BM25通过k1和b参数优化了TF-IDF的短板，成为工业检索基准”
]
# 初始化BM25模型
bm25_model = BM25(test_docs)
# 模拟用户查询
user_query = “BM25检索算法优势”
# 执行检索
results = bm25_model.search(user_query, top_k=3)
# 输出结果
print(“查询语句：”, user_query)
print(“检索结果：”)
for doc, score in results:
print(f"分数：{score:.4f} | 文档：{doc}")

四、算法深度剖析：BM25如何解决TF-IDF痛点
通过上文的公式和代码，我们可以直观对比BM25与TF-IDF的核心差异，清晰理解其优化逻辑。
4.1 解决关键词堆砌问题
TF-IDF中，关键词出现10次的分数远高于出现5次，恶意堆砌可直接拉高排名。而BM25通过k1参数限制词频权重：当词频持续升高，分母同步增大，分数增长速率持续放缓，最终趋于平稳。无论关键词出现10次还是100次，分数几乎无差异，从算法层面杜绝堆砌作弊。
4.2 解决文档长度偏差问题
TF-IDF完全忽略文档长度，长文档词汇量大，命中关键词概率更高，容易挤占短精准文档的排名。BM25通过 $$1-b+b\cdot \frac{|D|}{avgdl}$$ 动态修正：当文档长度大于平均长度，分母变大，分数被降低；当文档长度小于平均长度，分母变小，分数被适当提升，让长短文档处于同一评分基准。
4.3 优化通用词降权逻辑
对于“的、地、得、是、有”等通用停用词，其文档频次n(t)接近文档总数N，根据IDF公式，最终计算出的IDF值极低，对总分贡献微乎其微。因此使用BM25时，即使不手动过滤停用词，也不会影响检索结果，大幅简化预处理流程。
五、BM25主流变体区别
在工业落地中，BM25衍生出三个主流变体，分别适配不同场景，很多开发者容易混淆，这里做清晰区分：
5.1 BM25 Okapi（标准版）
本文讲解的核心版本，也是Elasticsearch默认算法，参数稳定、通用性强，适配90%的文本检索、知识库检索、网页搜索场景，是工业界首选版本。
5.2 BM25+
在标准版基础上增加常数delta（默认1.0），解决极短文档分数过低的问题。适合短句检索、标题检索、问答检索场景，避免精准短句因为长度过短被降权。
5.3 BM25F
支持多字段加权检索，可对标题、摘要、正文、标签等不同字段设置不同权重。例如标题关键词命中权重高于正文，适合公众号文章、新闻、电商商品检索等多字段场景。
六、BM25的优缺点全面总结
6.1 核心优点