一、私有化部署千问 QWen 和 DeepSeek

国内主流大模型

开源模型对比：

从何下载大模型

• Hugging Face = AI 界的 GitHub (全球通用)：资源最全、国际标准、开发者首选，但在中国访问困难。
• 魔搭社区 (ModelScope) = AI 界的 Gitee (中国本土)：阿里发起、国内访问极速、中文友好、针对国内合规优化。

核心区别：

如果需要部署国内大模型，就选ModelScope，如果部署国外大模型就选Hugging Face

私有化部署开源大模型工具

• Ollama = “开箱即用”的极简体验（适合个人开发者、本地测试、快速上手）。
• vLLM = “极致性能”的生产引擎（适合企业部署、高并发服务、生产环境）。

两者核心区别如下：

基于vLLM本地私有化部署开源大模型

购买云算力服务器

因为我本地 mac m1 笔记本，并无显卡，所以就购买云算力服务器，至于需要购买多大显存、内存、存储的的服务器，可以把要部署的模型名称丢给千问，千问会帮我们估算需要什么配置的服务器，我们参考着购买即可。 我选择的 AutoDL算力云服务器，推荐选按量计费方式，晚上睡觉休息可以关机不扣费。

安装 vLLM部署工具

# 安装vllm
pip install vllm
# 查看安装的版本
vllm -v
0.17.0

下载Qwen/Qwen3.5-0.8B模型

魔塔模型详情页有下载方式介绍：

进入算力云服务器终端界面：

创建目录和代码文件：

我选择 sdk 方式下载，在算力云服务器编写下载模型代码：

#模型下载
from modelscope import snapshot_download
# model_dir = snapshot_download('Qwen/Qwen3-8B', cache_dir='/root/autodl-tmp/models', revision='master')

model_dir = snapshot_download('Qwen/Qwen3.5-0.8B', cache_dir='/root/autodl-tmp/models', revision='master')

下载模型：

python autodl-tmp/code/download.py

部署Qwen/Qwen3.5-0.8B模型

在服务器终端执行部署命令：

python -m vllm.entrypoints.openai.api_server \\
–model /root/autodl-tmp/models/Qwen/Qwen3.5-0.8B \\
–served-model-name qwen3.5-0.8b \\
–max-model-len 8192 \\
–host 0.0.0.0 \\
–port 6006 \\
–dtype float16 \\
–gpu-memory-utilization 0.8 \\
–enable-auto-tool-choice \\
–tool-call-parser hermes

由于我们购买算力云服务器是没有公网 ip 的，所以我们需要建立 ssh 隧道，使得本地网络可以访问服务器上部署的大模型服务。

浏览器访问：http://localhost:6006/docs，就可以看到 vllm 部署大模型后fastapi 接口文档了：

调下检查健康的接口，是能看到接口请求成功返回 200：

下载deepseek-ai/DeepSeek-R1-0528-Qwen3-8B模型

修改模型下载代码：

#模型下载
from modelscope import snapshot_download
# model_dir = snapshot_download('Qwen/Qwen3-8B', cache_dir='/root/autodl-tmp/models', revision='master')

model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-0528-Qwen3-8B', cache_dir='/root/autodl-tmp/models', revision='master')

执行代码下载模型：

python autodl-tmp/code/download.py

部署deepseek-ai/DeepSeek-R1-0528-Qwen3-8B模型

python -m vllm.entrypoints.openai.api_server \\
–model /root/autodl-tmp/models/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B \\
–served-model-name ds-qwen3-8b \\
–max-model-len 8192 \\
–host 0.0.0.0 \\
–port 6006 \\
–dtype float16 \\
–gpu-memory-utilization 0.8 \\
–enable-auto-tool-choice \\
–tool-call-parser hermes

本地私有化部署开源大模型比较简单，只要有服务器硬件条件满足能部署，下载模型–>安装 vllm–>部署。