一、核心技术栈概览
1. 后端基础框架
-
JDK: 17 (LTS版本)
-
Spring Boot: 3.4.3
-
Spring AI: 1.0.0
-
MyBatis-Plus: 3.5.6
2. 数据处理与存储
-
向量数据库: Milvus 2.6.4
-
关系型数据库: MySQL
-
缓存数据库: Redis
-
文档处理: Apache POI 5.2.5
3. AI与机器学习
-
本地大模型平台: Ollama
-
Spring AI 集成能力:
-
Embeddings (向量化)
-
Vector Store (向量存储)
-
4. 运维与部署
-
服务器管理: 1Panel
-
容器化: Docker (1Panel内置支持)
二、技术架构分层
三、开发环境搭建
1、1Panel安装
使用管理工具安装和部署会更快
安装文档：https://1panel.cn/docs/v2/installation/online_installation/#1
2、完整部署架构
需要安装的有mysql、redis、ollama、attu、milvus其中mysql、redis、ollama在商店中有、直接无脑点安装就可以了。milvus(向量数据库)、attu(向量数据库可视化管理工具)这两个在商店中没有，需要自己去安装
3、milvusdb容器化安装
找到下面的这个地方，把代码复制进去，最后点确认就可以了，后面就等着编排完成
version: "3.5"
services:
milvus:
image: milvusdb/milvus:v2.4.4
container_name: milvus
command:
– milvus
– run
– standalone
environment:
ETCD_USE_EMBED: "true"
COMMON_STORAGETYPE: local
ports:
– 19530:19530
– 9091:9091
volumes:
– ./milvus_data:/var/lib/milvus
4、milvusdb数据可视化工具：
这个太简单了直接在终端运行下面的docker命令就可以了
docker run -d \\
-p 8000:3000 \\
-e MILVUS_URL=localhost:19530 \\
zilliz/attu:v2.4
到这里，需要的环境就全部搭好了
四、配置文件
只有一点需要注意，dimension的值跟你选择的向量模型有关系，不能超过所选模型的最大嵌入维度
| qwen3-embedding:0.6b | 6亿 | 1024 | 64.33 | 极致轻量与高效：资源消耗极低，适合对响应速度和硬件要求苛刻的场景，如移动端或边缘设备。 | |
| qwen3-embedding:4b | 40亿 | 2560 | 69.45 |
性能与效率的平衡：性能较0.6B版本有显著提升，但资源消耗可控，非常适合个人电脑或普通服务器作为通用嵌入模型。 |
|
| qwen3-embedding:8b | 80亿 | 4096 | 70.58 | 最强性能：拥有最高的维度和最佳的性能，在多个榜单上排名第一。适合对精度要求极高的RAG、语义搜索等任务。 | |
五、模型配置
1、云模型和本地模型
如果使用的是云模型的话，需要登陆ollam后才能使用，有token限制，每周更新，如果是本地模型的话就无所谓了，模型名称后面有cloud的全部都是云模型，使用云模型不消耗服务器或本地电脑的资源。
2、登陆ollama
3、模型拉取
第一种方式是直接在1panel模型管理里面拉取
第二种方式是直接通过命令,在老地方 ollama pull + 模型名称，完事后等着拉取完就行了
六、配置使用
配置完成后就可以选择你自己需要的模型进行使用了
7、示例
地址：http://rate.f1.ttyt.cc/chat
