一、部署环境准备
1.1 硬件要求
- 最低配置:Windows 10/11 64位系统,8GB内存,20GB硬盘空间(可运行7B模型)
- 推荐配置:16GB+内存,NVIDIA RTX 3060以上显卡,NVMe固态硬盘(支持70B模型)
- 云部署方案:通过骋风算力平台租用GPU资源(如4x RTX 4090集群支持671B模型)
1.2 工具下载
| Ollama | 模型引擎核心 | ollama.com
3 |
| AnythingLLM | 可视化操作界面 | anythingllm.com
3 |
| 聪明灵犀 | 中文优化插件 | 企业官网下载(需注册)
2 |
| Chatbox | 全平台交互客户端 | chatboxai.app
6 |




