结合 LLM 的智能检索：从"幻觉"到"可信"的文献检索实战方案
关键词：大语言模型 / 智能检索 / 幻觉抑制 / Prompt 工程 / 交叉验证 / RAG
一、背景与痛点：为什么直接用大模型查文献会"翻车"
大语言模型（LLM）基于 Transformer 架构，在海量数据上训练，参数规模普遍超过百亿，具备上下文理解、知识推理与文本生成能力，被视为通往 AGI 的重要路径。自 2022 年 11 月 ChatGPT 发布以来，PaLM、LLaMA、GPT-4 等模型快速迭代，应用已渗透到学术研究、临床决策、法律文书、金融风险预测等专业领域。国内也进入井喷期：DeepSeek、豆包、Kimi、文心一言等工具已深入人心。
传统检索系统受限于关键词匹配的机械性，难以应对复杂语义查询；而 LLM 凭借深层语义理解，可通过对话式交互精准捕捉研究意图，显著提升检索效率。
但问题随之而来——"幻觉"。
幻觉（Hallucination）指自然语言生成模型输出的内容与原文本不符、或与现实客观事实相悖的现象。按能否通过原文本直接验证，可分为：
- 内在幻觉（Intrinsic Hallucinations）：与给定文本直接冲突；
- 外在幻觉（Extrinsic Hallucinations）：无法从给定文本中验证、却又与事实不符。
在文献检索场景下，幻觉的破坏力尤其突出：模型一旦编造出"看起来很合理、实则不存在"的论文（标题、作者、会议一应俱全），会直接误导研究方向，严重时导致学术成果的错误推导。
所以本文的核心命题就是：如何让 LLM 检索出来的文献，真实存在于现实世界？
二、核心思路：多策略组合拳抑制幻觉
研究借鉴了漏洞挖掘领域的成果——Zhang 等人[7]在将 LLM 用于漏洞挖掘时提出了"二次验证机制"。本报告把这一思路迁移到文献检索，并组合了三种策略：
1. 二次验证：让模型对自己生成的文献再判断一次；
2. Prompt 工程：用"领域限定 + 角色扮演 + 示例引导"的复合指令约束输出；
3. 交叉验证：用另一个模型去校验第一个模型的答案。
实验统一任务："请列举近三年提出的基于 LLM 的漏洞检测技术的文献"，并用谷歌学术核验文献真实性。核心评价指标为真实率：
真实率 = 真实文献数目 / 生成文献总数目
2.1 二次验证（Self-Check）
原理：在大模型生成回答后，引导模型对自身输出再次评估，借助上下文学习能力优化结果。
执行流程如下（对应原文图 2-1）：
【Mermaid 流程图，可在支持 Mermaid 的平台渲染】
flowchart LR
U[用户] –>|请列举近三年基于LLM的漏洞检测文献| L[大模型]
L –>|生成文献列表| U
U –>|请对自己生成的文献判断,给出真实存在的文献| L
L –>|二次验证后输出| U
典型案例（Kimi）：Kimi 在二次验证环节直接否定了自己初次生成的所有文献，不再认可最初的输出——这说明二次验证对 Kimi 的"自我纠错"触发明显，但也暴露出它否定虚假文献后给不出真实列表的局限。
2.2 Prompt 工程：领域限定 + 角色扮演 + 示例引导
Prompt 是给模型的"导航仪"。本报告设计的复合指令模板如下（原文逐字引用）：
你是一个严谨的科研助手，必须遵守以下规则：
1. 所有陈述必须基于真实可靠的文献列表，禁止胡编乱造。
2. 每个结论后必须标注来源文献编号。
3. 如果文献证据不足，回答'当前文献未提供充分证据'。
用户问题：请列举近三年提出的基于LLM的漏洞检测技术的文献
三段式的作用：
- 领域限定：聚焦"LLM 漏洞检测技术"，减少无关信息干扰；
- 角色扮演：模拟"严谨科研助手"，赋予专业视角与行为准则；
- 示例引导：用明确规则规范输出格式，提高可用性。
2.3 交叉验证：跨模型互验
国内主流模型（Kimi、豆包、腾讯元宝、文心 4.5、文心 X1）多为闭源，无法微调、训练数据不可见，单一模型在架构、参数、数据上的差异会导致不同的局限性。
做法：先让上述模型各自生成答案，再把答案统一投喂给 DeepSeek 做二次判断，Prompt 为：
以上是询问'请列举近三年提出的基于LLM的漏洞检测技术的文献'之后
大模型给出的答案，请对其中的模型进行判断，给出真实存在的文献。
利用不同模型的互补优势，识别并纠正单一模型的错误输出。
2.4 实验结果汇总
表 2-1 直接询问大模型（无任何优化）
|
大模型 |
真实文献 |
总文献 |
真实率 |
|
Kimi |
0 |
6 |
0 |
|
豆包 |
3 |
4 |
0.75 |
|
腾讯元宝 |
0 |
3 |
0 |
|
文心 4.5 |
1 |
5 |
0.20 |
|
文心 X1 |
2 |
7 |
0.2857 |
直接问，Kimi / 腾讯元宝真实率 0；文心系列不足 30%；豆包最好（0.75）但只给了 4 篇。
表 2-2 二次验证后
|
大模型 |
真实文献 |
总文献 |
真实率 |
|
Kimi |
0 |
0 |
– |
|
豆包 |
3 |
4 |
0.75 |
|
腾讯元宝 |
0 |
2 |
0 |
|
文心 4.5 |
1 |
4 |
0.25 |
|
文心 X1 |
6 |
7 |
0.8571 |
文心 X1 从 28.57% 跃升到 85.71%；文心 4.5 从 20% 微升到 25%；Kimi 否定全部虚假文献但给不出真列表；豆包、腾讯元宝真实率不变。
表 2-3 Prompt 工程后
|
大模型 |
真实文献 |
总文献 |
真实率 |
|
Kimi |
0 |
6 |
0 |
|
豆包 |
4 |
6 |
0.6667 |
|
腾讯元宝 |
0 |
4 |
0 |
|
文心 4.5 |
0 |
5 |
0 |
|
文心 X1 |
5 |
8 |
0.625 |
文心 X1 提到 62.5%；豆包扩量到 6 篇仍保持 66.7%；Kimi、腾讯元宝无改善；文心 4.5 反而下降（推测与模型不稳定性有关）。
表 2-4 交叉验证后（DeepSeek 校验）
|
大模型 |
真实文献 |
总文献 |
真实率 |
|
Kimi |
4 |
4 |
1.00 |
|
豆包 |
1 |
1 |
1.00 |
|
腾讯元宝 |
6 |
10 |
0.60 |
|
文心 4.5 |
3 |
6 |
0.50 |
|
文心 X1 |
4 |
4 |
1.00 |
交叉验证是四种策略里提升最猛的：Kimi、豆包、文心 X1 全部达到 100%；腾讯元宝从 0 升到 60%；文心 4.5 从 20% 升到 50%。同时腾讯元宝、文心 4.5 的总文献数也增加了，说明交叉验证还能拓宽检索范围。
小结：单靠模型自我二次验证无法全面解决问题；Prompt 工程对部分模型有效但波动大；跨模型交叉验证在"真实性"指标上收益最高。
