内容参考于:图灵AI大模型全栈
之前都是自己手写RAG,如果特别着急,今天说要RAG明天就要交作业,它也是有一个比较简单,比较方便的东西,它就是RAG应用平台
RAG应用平台说明:
它是工作流平台,它会通过自动化、标准化、可视化手段,来简化复杂任务的编排和管理,从而提升效率,降低成本
| 开发速度 | ❌ 慢(需全链路实现) | ✅ 快(开箱即用) |
| 定制化能力 | ✅ 高(完全自主控制) | ❌ 低(只能通过平台提供的功能来实现) |
| 工程复杂度 | ❌ 高(需处理部署、监控等) | ✅ 低(平台自动化管理) |
| 维护成本 | ❌ 高(需持续优化底层) | ✅ 低(平台负责升级) |
| 性能调优能力 | ✅ 强(可针对硬件/场景深度优化) | ❌ 弱(受限于平台默认配置) |
| 数据隐私控制 | ✅ 完全自主(本地化部署,无数据外流) | ❌ 受限(依赖平台数据托管策略) |
| 适用场景 | 超大规模、高定制化需求(如企业级知识库) | 中小规模、快速验证需求(如MVP或PoC) |
RAG应用平台的知名平台:QAnything,RagFlow、FastGPT、Dify
QAnything,网易开源的本地知识库RAG问答系统,采用两阶段检索机制和混合检索技术
源码地址:https://github.com/netease-youdao/QAnything/
官方网址:QAnything-网易有道本地知识库问答系统
如下图:它的官网
可以点击下图红框免费试用
如下图红框,它有知识库(RAG)、Agents(智能体)
如下图它最核心的机制,
首先问题检索:首先提出问题(Query),然后向量检索文档(1stRetrieval(Embedding)),然后得到与问题相关的文档(chunks),然后重排序(2nd Retrieval(Rerank)),然后得到重排的文档,然后拼接提示词给大模型回答问题(Reader(LLM))
文档处理:Parser&Splitter(OCR),Parser是读取文档,Splitter文档拆分,OCR是图像识别,然后生成向量(Vectorization(Embedding)),然后是保存到数据库(DataBase)
RagFlow
源码地址:https://github.com/infiniflow/ragflow
官方网址:https://ragflow.io/
它是对文档进一步深入理解的开源RAG(检索增强生成)引擎,它的逻辑
首先读取文档(Documents)然后拿到数据(Task Dispatch)放到知识库中,它在处理文档的时候有图像识别(OCR)、表格或其它数据加载(Document Layout Analyze),RagFlow它聚焦于文档处理这方面很好
它的检索逻辑没什么特殊的也是重排序、混合检索
FastGPT
它主要是围绕着知识库问答系统来实现,如下图它的逻辑
建立知识库:预处理数据时会用大语言模型进行QA拆分(把问题和答案整理成QA问答对)
提问:没什么特殊的,它也是向量检索
源码地址:https://github.com/labring/FastGPT
官方网址:FastGPT – Enterprise AI Agent Builder & Open Source RAG
Dify
Dify需要科学上网才能访问,它是国内苏州语灵科技,但是注册是在美国,所以需要科学上网
Dify源码地址:https://github.com/langgenius/dify
中文文档:https://docs.dify.ai/v/zh-hans
官方地址: https://cloud.dify.ai/apps
Dify是近期比较流行的开源大模型应用平台,它内置了创建LLM应用需要的关键技术栈,它有对数百个模型的支持、很直观的提示词排版界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排,还提供了简单易用的界面和API,可以让我们专注于创新和业务需求
首先需要登录,直接用谷歌账号登录即可
登录之后
在主页里它提供了一些参考模版
工作室它就是我们创建的一些任务应用,如果使用在线的还不付费升级,它只能创建5个,想免费创建多个要本地部署
知识库就是我们上传文档处理文档的地方
集成里可以配置模型,一些拓展性的东西
还可以配置一些给Agent使用的工具
在Marketplace里可以安装一些Dify提供的插件
开始使用,首先配置模型,市面上的模型它基本都支持,点击安装之后就可以配置api密钥了,密钥的获取要去安装的模型官网得到,跟使用代码调用时用到的api密钥一样的
这里使用千问的模型,也就是通义点击下图红框添加密钥
再点击下图红框
点击下图红框,可以跳转到获取密钥的官网,第7节里有写如果创建阿里百炼的api key,也就是通义的
填写完后点击保存
如下图红框就设置完成了
模型配置好后,然后来到控制台点击下图红框创建一个空白的应用
然后点击下图蓝框,可以看到下图红框,通过聊天助手的聊天俩字可以看出它是带有记忆的,可以记录上下文历史的,文本生成应用可以看出它没有记忆,只是单纯的单次生成
这里创建一个聊天助手,选中聊天助手,写一个名字,然后点击上图里的创建就可以了,如下图点击创建后自动跳转到这个页面
这个访问api,就是把我们写好的应用提供给别人进行访问
日志信息可以查看谁调用过
检测可以查询使用的Token,消息等
主要是看编排,如下图红框如果不会写提示词,可以让ai生成提示词
如下图,然后点击生成就可以了
注意点击下图红框可以设置模型的参数
如下图红框它就给我们生成好了提示词,点击应用就可以了
这里用一个简单的提示词,点击添加,注意下图的添加弹框可能出现的很慢,写完提示词耐心等一会
如下图红框简单的提示词,下图蓝框是点击上图红框里的添加后生成的,用来占位的变量
可以上传文档添加知识库
使用之前点击下图红框,选择我们的模型
点击下图红框,可以配置模型的参数
设置好后,在下图红框输入问题,然后点击下图蓝框发送问题
如下图红框,我们设置了输入语言是中文,翻译语言是英文,所以它把我们的中文翻译成了英文,通过我们的提示词模版生成的
鼠标移动到答案上就可以点击下图红框查看日志
如下图红框它的过程,我写的提示词模版是系统提示词
如下图红框它都是带记录的
点击下图红框
如下图红框,可以设置一些东西,比如设置开场白,鼠标移动到下图蓝框位置就会出现编辑按钮了
如下图红框里可以写开场白
还有内容审查,模型它会道德问题,或者有一些骂人的话,或者敏感的词不让它出现
然后点击下图红框进行发布
然后再点击下图红框,到这就是最简单的聊天助手应用
然后我们再创建一个文本生成应用,点击下图红框返回工作室页面
然后创建一个文本生成应用
鼠标移动到下图红框位置可以删除无用的变量
点击下图红框位置,可以编辑变量的类型
如下图编辑变量的类型
如下图代码转换的提示词,是没有记忆的,运行一次就是一个新的任务
如下图它的日志,它是一个用户提示词了
然后再创建一个Agent
它相比较之前的两个,聊天助手和文本生成,多了下图红框的工具,Agent是可以调用工具的
如下图红框位置都是默认的工具,这里添加一个时间工具
直接点击添加全部就可以了
如下图红框它的日志
如下图红框,它是实时的时间,大模型它是不可以实时获取时间的
如下图它使用的工具,到这就是新手使用的三个最简单的应用



