RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索（Retrieval）和文本生成（Generation）的自然语言处理技术。它旨在通过从外部知识源（如数据库、文档或互联网）检索相关信息，辅助大型语言模型（LLM）生成更准确、更丰富且更具上下文相关性的文本内容。
一、RAG要解决的核心问题
RAG主要为了解决大型语言模型（LLM）在实际应用中面临的几个核心挑战：
知识局限性：LLM的知识受限于其预训练数据，无法获取训练时未包含的最新信息或特定领域的私有知识。
信息过时：LLM通常是离线训练的，难以理解和响应训练数据之后出现的新信息。
“幻觉”问题：LLM在缺乏相关知识或需要最新信息时，可能会生成看似合理但实际错误或编造的内容。
可解释性差：传统LLM的答案生成过程像一个“黑箱”，用户难以核实其依据。
二、RAG流程
RAG通过一个系统性的流程，将外部知识动态注入LLM的生成过程，从而解决上述问题。
这是RAG系统的“基建”环节，目的是将原始数据转化为可供高效检索的知识库。
数据准备：从各种来源（如PDF、Word文档、数据库、网页）收集和提取文本内容。
文本分割：将长文档切割成较小的文本块（Chunk），以适应模型的上下文窗口并提高检索粒度。常用策略包括按固定长度、段落或语义边界切分，并可能设置重叠部分以保持语义连贯。
向量化：使用嵌入模型将文本块转换为高维向量（Embedding），使语义相似的文本在向量空间中距离更近。
存储与索引：将向量及其对应的原始文本、元数据（如来源、时间）存储到向量数据库中，并建立索引以支持快速相似性搜索。
当用户提出查询时，系统从知识库中查找最相关的信息。
查询编码：将用户查询通过同样的嵌入模型转换为查询向量。
相似性搜索：在向量数据库中进行近似最近邻搜索，找出与查询向量最相似的文本块。
重排序：为提高精度，许多系统会使用重排序模型对初步检索到的结果进行精排，过滤噪声并确保最相关的内容优先。
将检索到的相关信息与用户原始问题结合，交给LLM生成最终答案。
提示构建：将检索到的相关文本块作为上下文，与用户问题一同填入预设的提示模板中，构成增强后的提示。
答案生成：LLM基于这个包含了外部知识的增强提示，生成更准确、有据可依的回答，并减少幻觉。
三、RAG处理方法经验整理
以下整理平时工作学习过程中，在RAG中可能比较有用的方法和经验：
1.数据准备
在对文本进行切片的时候，目前主要有按照滑动窗口切片和语义切片两种方法
滑动窗口切片
- 方法
设置固定chunk_size阈值，按照chunk_size对原始文本进行token或者字数的切片。当然，为了保证文本预计的完整性，可以根据切片位置将当前位置的句子给完整切进来。同时，为了一定程度上保证切片后前后语义的完整性（因为直接切的话，很可能将原本前后描述一个事情的两个句子切开，破坏原本语义），会设置chunk_overlap，让前后两个切片片段有一定的重叠覆盖，这样，可以一定程度上让前后描述一个事情的两个句子依旧会放在一起（稍有缓解，但不能很好杜绝）
- 优点
文本片段大小可控：通过chunk_size的设置，能够大致控制切片下来的文本片段的大小，对上下文窗口有限的LLM来说比较友好
速度快：处理方式基本是按照规则处理，不依赖语义embedding，处理速度快
-
缺点
可能破快语义：虽然可以使用overlap，但这也会在没有理解语义的情况下overlap，还是会破坏原有语义
存储有冗余：由于使用了overlap，导致在存储中会有部分内容其实是重复的，不仅增加了存储成本，也增加了检索时候的计算量
基于语义切片
-
方法
大致流程如下
-
将原有文本按照句子切分
-
对每个句子生成embedding向量，用于表示语义
-
计算相邻句子之间的语义相似度
-
当在某处的语义相似性比较差（低于某个阈值），那么就可以在这里进行切分
这样，就能保证每个切分后的文本语义连贯性
-
优点
语义完整连贯：因为是按照语义切分的。当然，这里的语义相似度阈值比较重要。
信噪比高：切分后的文本段比较干净，很少含有无关的信息
-
缺点
切片大小不可控：有可能某个语义片段非常长，超出了LLM处理上下文的长度
速度慢：因为需要用到embedding计算相似度，因此速度稍慢（但一般离线处理的话，只要不是太慢，基本不是问题）
语义切片和滑动窗口结合
为了能够更好的切片，可以线按照语义进行切片，然后在按照滑动窗口合并或拆分，可以一定程度上结合两者的优点。但是具体使用的时候，还是得根据业务数据而定。
2.检索召回
检索引擎的选择
从简单到复杂，可以有以下几种检索召回方法：
- 关键词：这个就特别简单了，直接按照query关键词从数据库中匹配即可。速度快，占用内存/显存低，可解释性强。
- BM25：BM25是按照文本统计信息进行相似度匹配召回，没有基于语义。但是在传统的方法中还是很有用的，速度快，一些场景下效果也还不错。速度快，占用内存/显存低，可解释性强。
- 语义embedding: 可以通过bge等语义向量进行query和doc等语义相似度匹配检索。速度慢，需要占用一定的内存/显存，可解释性差
- 图索引：根据doc的主题或实体关系，构建图索引。比如，HNSW
以上方法各有优缺点，但是一般混合使用会比较好。
query expansion
-
为什么要query expansion
首先解释一下为什么要进行query expansion。因为用户输入的query往往会存在以下几个问题：
-
query表达模糊、不完整，或者口语化，不太容易理解
-
query中缺乏上下文
-
难以准确命中知识库中的文档
如果直接使用用户输入的query的话，可能会出现以下几个问题：
-
召回结果不足
-
召回无关内容
-
最终生成的答案不够准确和不够全面
因此，需要通过query expansion来扩展和改写，来缓解以上几个问题。
-
如何query expansion
将query以及对话上下文，给到LLM，让LLM进行改写。主要有以下几个地方需要改写：
-
指代词的改写：结合上下文，将当前query中出现的“他”、“那个”等指代词进行还原
-
专有名词或歧义词的解释：比如，CNN可以表示卷积神经网络，也可以表示美国有线电视新闻网。因此，为了让检索模型以及后续的生成模型更好的理解，需要将一些专有名词缩写或歧义词进行扩写或解释。比如“CNN的原理” → “卷积神经网络的原理”
-
复杂问题拆解：将复杂问题拆解为多个步骤，然后多步检索后整合答案
扩召方法
HyDE策略：对于给定的query，先用LLM生成一个假设的答案（这个直接生成的答案有可能是有幻觉的），然后用这个假设的答案去数据库中检索相关的doc，然后用这个检索到的doc进行答案生成。但是缺点是在rag流程中多了一步生成假设答案的流程，耗时增加
标签召回：给doc和query都打上一个标签，按照标签进行匹配召回
3.模型生成
为了保证模型生成结果更加可信，可以有以下几个方法：
在prompt中，对专有名词进行强调说明，增加回复模型的注意力
在输出过程中，让模型输出答案的时候，也输出当前内容对应的参考文档，方便溯源
验证机制：先用query进行检索，用LLM生成回复，然后用另一个LLM判断回复是否出现幻觉或是否与召回文档一致等，如果有幻觉，则重新检索生成
四、RAG仍面临的问题与挑战
尽管RAG优势明显，但在实际落地中仍面临一些挑战：
检索质量依赖性强：答案的质量高度依赖于检索阶段的效果。如果检索不到相关信息或召回内容不准确，后续生成的结果必然出错。
复杂文档处理困难：对于包含复杂格式（如多栏PDF、表格、图表）的文档，传统的文本解析和切分方法可能导致信息丢失或错乱，影响问答精度。
多模态与复杂问答支持有限：传统RAG主要以非结构化文本问答为主，在处理需要结合图像、表格进行推理，或需要进行统计计算等复杂问题时能力不足。
系统延迟与成本：完整的RAG流程涉及检索和生成两个步骤，可能比直接调用LLM产生更高的延迟和计算成本。
为了应对这些挑战，业界也在不断优化，例如采用级联切分、多路检索融合、融合代码模型处理统计问题等技术。
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！
在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。
希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！
01 教学内容
-
从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！
-
大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
02适学人群
应届毕业生： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
vx扫描下方二维码即可
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！
03 入门到进阶学习路线图
大模型学习路线图，整体分为5个大的阶段：
04 视频和书籍PDF合集
从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）
新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
05 行业报告+白皮书合集
收集70+报告与白皮书，了解行业最新动态！
06 90+份面试题/经验
AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）
07 deepseek部署包+技巧大全
由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
