欢迎光临
我们一直在努力

AI Agent(四)- Dify接入大模型

文章目录

  • 一、Dify接入本地大模型
    • 1. Dify中配置ollama
      • 1.1 打开设置
      • 1.2 安装Ollama大模型运行管理框架
      • 1.3 安装后展示
      • 1.4 添加模型
      • 1.5 查看管理凭据
    • 2. Dify中使用本地大模型示例
      • 2.1 创建空白应用
      • 2.2 创建结果展示
  • 二、Dify接入云端大模型
    • 1. 阿里云百炼平台账号注册登录
      • 1.1 注册阿里云百炼平台账号
      • 1.2 登录阿里云百炼平台账号
    • 2. Dify中配置API Key
      • 2.1 获取API Key
      • 2.2 打开设置
      • 2.3 安装通义千问模型框架
      • 2.4 安装后展示
      • 2.5 添加API Key
    • 3. Dify中使用云端大模型示例
      • 2.1 创建空白应用
      • 2.2 创建结果展示

一、Dify接入本地大模型

1. Dify中配置ollama

完成本地Ollama环境搭建、模型下载运行后,将本地部署的Ollama大模型接入Dify平台,实现低代码AI Agent、工作流、知识库应用的底层模型对接,全程使用本地私有化模型,数据不对外传输。

1.1 打开设置

进入Dify平台的工作室主页面,按照以下步骤进入配置界面:

  • 点击页面右上角的个人头像图标,展开个人功能下拉菜单;
  • 在弹出的菜单列表中,点击设置选项,进入Dify的系统配置后台,开始后续模型接入相关配置。
  • 在这里插入图片描述

    1.2 安装Ollama大模型运行管理框架

    进入Dify后台设置页面后,在左侧菜单栏中点击 模型供应商 选项,进入平台所有模型源的管理界面。在右侧展示的全部模型供应商列表中,找到 Ollama 选项卡片,点击卡片下方的 安装 按钮,完成本地Ollama模型源在Dify平台中的插件接入配置。 在这里插入图片描述

    1.3 安装后展示

    点击安装按钮完成插件接入后,回到模型供应商页面,可以看到 Ollama 已经成功安装,出现在页面的待配置列表区域。该卡片同时展示了插件版本号,并且完整支持 LLM、TEXT EMBEDDING、RERANK 三类模型类型,下方提示需要配置API密钥、完成服务连接配置,并支持后续手动添加本地已下载的模型。

    在这里插入图片描述

    1.4 添加模型

    在待配置区域的Ollama卡片右侧,点击添加模型按钮,弹出模型配置窗口。 在这里插入图片描述 按照以下参数依次填写配置信息:

  • 模型名称:填写本地Ollama中已经下载好的模型,本次演示填写 qwen2.5;
  • 模型类型:下拉选择 LLM(大语言模型,对应对话生成场景);
  • 基础URL:填写Ollama本地默认服务地址 http://localhost:11434,该地址为Ollama启动后默认开放的本地API接口地址;全部参数填写完成后,点击窗口下方添加按钮,完成模型接入配置。
  • 在这里插入图片描述

    1.5 查看管理凭据

    模型添加完成后,在Ollama模型卡片区域,点击管理凭据按钮,展开已添加模型的凭据列表。点击凭据后方的编辑图标,即可打开编辑模型凭据配置窗口,可以查看与修改当前qwen2.5模型的全部连接参数:包含凭据名称、基础URL、模型类型、对话上下文长度、最大token上限、视觉能力支持等详细配置项,确认参数无误后可点击保存完成配置修改。

    在这里插入图片描述

    2. Dify中使用本地大模型示例

    完成Ollama模型全部接入配置后,在Dify平台创建对话应用,调用本地部署的大模型进行交互测试,验证整条私有化链路连通性。

    2.1 创建空白应用

    回到Dify工作室主界面,点击顶部创建应用下拉选项,选择创建空白应用。在应用类型选择页面,本次我们选择聊天助手类型(简单配置即可构建基于LLM的对话机器人),在应用名称输入框填写自定义名称新手示例,全部信息填写完成后,点击底部创建按钮,完成空白对话应用的创建。 在这里插入图片描述

    2.2 创建结果展示

    点击创建按钮后,即可成功进入应用编辑页面,代表聊天助手应用创建完成。页面右上角已经自动识别并加载我们此前配置好的本地模型 qwen2.5 (CHAT),页面左侧为应用功能菜单栏,中间区域为提示词编排、变量配置、知识库接入等核心编辑区域,右侧为调试与预览对话窗口,可直接在下方输入框发送消息,调用本地Ollama大模型进行实时对话交互测试。 在这里插入图片描述

    二、Dify接入云端大模型

    1. 阿里云百炼平台账号注册登录

    1.1 注册阿里云百炼平台账号

    阿里云百炼官方平台地址:https://www.aliyun.com/product/bailian,打开官方首页后,点击页面右上角注册按钮,按照页面指引完成阿里云账号的注册流程,已有阿里云账号可直接点击登录,无需重复注册。 阿里云百炼是阿里旗下企业级大模型服务与应用开发平台,内置通义千问全系列官方模型,支持低代码AI应用、AI Agent智能体搭建、API调用、知识库开发等一站式开发能力。

    在这里插入图片描述

    1.2 登录阿里云百炼平台账号

    完成账号注册后,登录阿里云账号进入百炼平台首页。根据平台官方使用规范,必须完成账号实名认证,同时在账户内完成小额余额充值,获得接口调用额度,才可以正常使用通义千问系列模型的API服务。 登录后点击页面右上角个人头像,在下拉菜单的「费用与成本」栏目中,可查看账户当前可用额度,确认余额充足后,即可开展后续模型调用、API密钥申请、应用开发等相关操作。 在这里插入图片描述

    2. Dify中配置API Key

    2.1 获取API Key

    完成账号登录、实名认证与余额充值后,开始申请平台调用所需的API密钥。首先在阿里云百炼官方首页,点击页面右上角的大模型服务平台百炼控制台按钮,进入百炼平台专属后台管理界面,后续API Key申请、模型配置、应用管理等全部操作均在此控制台内完成。 在这里插入图片描述

    进入阿里云百炼平台控制台主页面后,在下方常用功能区域中,点击 API Key 选项,该功能用于创建、管理接口调用密钥,是后续模型API服务调用的唯一凭证,点击即可进入密钥申请与管理页面。 在这里插入图片描述 进入API Key管理页面后,点击页面右上角创建API Key按钮,弹出密钥创建配置窗口。在弹窗中选择归属业务空间,可自定义填写密钥描述信息,权限默认选择全部权限即可,全部配置完成后,点击下方确定按钮,完成API Key的创建申请。

    注意:密钥创建成功后会仅展示一次,请及时复制保存完整密钥信息,用于后续平台接口调用鉴权。

    在这里插入图片描述

    点击确定完成创建后,即可在API Key列表页面看到生成完毕的密钥信息。页面表格中会展示该密钥对应的ID、完整API Key、归属账号、创建时间等信息,同时支持禁用、重置、编辑、删除等密钥管理操作。

    重要提醒:该API Key是调用阿里云百炼通义系列模型接口的唯一身份凭证,创建完成后请务必完整复制妥善保存,密钥仅首次生成时完整可见,后续页面会进行脱敏隐藏,丢失后只能重置密钥重新获取。

    在这里插入图片描述

    2.2 打开设置

    进入Dify平台的工作室主页面,按照以下步骤进入配置界面:

  • 点击页面右上角的个人头像图标,展开个人功能下拉菜单;
  • 在弹出的菜单列表中,点击设置选项,进入Dify的系统配置后台,开始后续模型接入相关配置。
  • 在这里插入图片描述

    2.3 安装通义千问模型框架

    回到Dify平台的设置后台页面,在左侧菜单栏点击模型供应商选项。在右侧模型供应商列表中,找到通义(阿里云通义千问官方模型源)卡片,点击卡片下方的安装按钮,完成通义模型插件在Dify平台的接入安装,后续即可配置API密钥对接云端模型服务。 在这里插入图片描述

    2.4 安装后展示

    点击安装完成插件接入后,回到模型供应商页面,可以看到通义模型源已经成功安装,出现在页面的待配置列表区域。该卡片展示了插件版本,同时完整支持 LLM、TEXT EMBEDDING、RERANK、SPEECH2TEXT、TTS 全类型模型能力,页面提示需要配置此前申请的API密钥、添加云端模型,即可完成通义千问模型的全链路接入。 在这里插入图片描述

    2.5 添加API Key

    点击通义模型卡片上的添加API密钥按钮,弹出API密钥授权配置窗口。在配置窗口中,可自定义填写凭据名称,将此前在阿里云百炼平台获取保存的完整API Key,粘贴至对应输入框内;使用国际端点选项默认选择否,全部参数配置完成后,点击保存按钮,完成Dify平台与阿里云通义模型的接口鉴权对接。 在这里插入图片描述

    3. Dify中使用云端大模型示例

    2.1 创建空白应用

    回到Dify工作室主界面,点击顶部创建应用下拉选项,选择创建空白应用。在应用类型选择页面,本次我们选择聊天助手类型(简单配置即可构建基于LLM的对话机器人),在应用名称输入框填写自定义名称新手示例,全部信息填写完成后,点击底部创建按钮,完成空白对话应用的创建。 在这里插入图片描述

    2.2 创建结果展示

    完成通义模型全部接入配置后,进入此前创建好的新手示例聊天助手应用编辑页面。点击页面右上角模型下拉框,即可看到全部已接入的通义千问系列模型,本次选用 qwen3-4b 模型作为对话底层模型。 在这里插入图片描述 模型选择完成后,在右侧调试预览窗口发送对话消息,即可成功调用阿里云云端通义大模型,收到模型正常返回的对话回复内容,代表Dify平台对接通义千问模型全链路配置成功。 在这里插入图片描述

    赞(0)
    未经允许不得转载:171主机测评 » AI Agent(四)- Dify接入大模型
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址