/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后，紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
Qwen3.5-9B开源大模型教程：从HuggingFace下载到本地WebUI上线
1. 项目概述
Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。最新版本还支持多模态理解（图文输入）和长达128K tokens的上下文处理能力。
这个教程将带你从零开始，完成从HuggingFace下载模型到本地WebUI上线的完整流程。我们将使用Conda环境管理工具，基于torch28环境进行部署。
2. 环境准备
2.1 系统要求
- 操作系统：Linux (推荐Ubuntu 20.04+)
- GPU：NVIDIA显卡，显存建议16GB以上
- 内存：32GB以上
- 存储空间：至少50GB可用空间
2.2 Conda环境配置
# 创建conda环境
conda create -n torch28 python=3.10 -y
# 激活环境
conda activate torch28
# 安装基础依赖
pip install torch==2.8.0 transformers>=5.0.0 gradio==6.x huggingface_hub>=1.3.0
3. 模型下载与部署
3.1 从HuggingFace下载模型
# 创建模型存储目录
mkdir -p /root/ai-models/Qwen
# 使用huggingface_hub下载模型
python -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='Qwen/Qwen3.5-9B', local_dir='/root/ai-models/Qwen/Qwen3.5-9B')"
3.2 创建符号链接
ln -s /root/ai-models/Qwen/Qwen3.5-9B /root/ai-models/Qwen/Qwen3___5-9B
4. WebUI部署
4.1 项目结构
/root/qwen3.5-9b/
├── app.py # 主程序 (Gradio WebUI)
├── start.sh # 启动脚本
├── service.log # 运行日志
└── history.json # 对话历史记录
4.2 创建启动脚本
创建start.sh文件：
#!/bin/bash
source /opt/miniconda3/etc/profile.d/conda.sh
conda activate torch28
python /root/qwen3.5-9b/app.py
赋予执行权限：
chmod +x /root/qwen3.5-9b/start.sh
4.3 Supervisor配置
创建配置文件/etc/supervisor/conf.d/qwen3.5-9b.conf：
[program:qwen3.5-9b]
command=/bin/bash /root/qwen3.5-9b/start.sh
directory=/root/qwen3.5-9b
environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin"
user=root
autostart=true
autorestart=true
startsecs=30
startretries=3
redirect_stderr=true
stdout_logfile=/root/qwen3.5-9b/service.log
stopasgroup=true
killasgroup=true
更新Supervisor配置：
supervisorctl update
5. 使用指南
5.1 服务管理命令
# 查看服务状态
supervisorctl status qwen3.5-9b
# 重启服务
supervisorctl restart qwen3.5-9b
# 停止服务
supervisorctl stop qwen3.5-9b
# 查看实时日志
tail -f /root/qwen3.5-9b/service.log
5.2 WebUI访问
- 本地访问: http://localhost:7860
- 网络访问: http://服务器IP:7860
5.3 功能使用
文本对话
图片分析
参数调节
- Max tokens: 生成文本的最大长度 (64-8192)
- Temperature: 采样温度，越高越随机 (0.0-1.5)
- Top P: 核采样阈值，越低越确定 (0.1-1.0)
- Top K: 采样候选数，越少越确定 (1-100)
6. 常见问题排查
6.1 服务启动失败
检查步骤:
6.2 模型加载慢/卡住
原因: 模型文件较大(~19GB)，首次加载需要时间
解决:
- 等待2-3分钟让模型完全加载
- 检查GPU是否可用：nvidia-smi
- 查看日志确认加载进度
6.3 端口被占用
# 检查端口占用
ss -tlnp | grep 7860
# 查看哪个进程占用
lsof -i :7860
7. 日常维护
7.1 清理对话历史
rm -f /root/qwen3.5-9b/history.json
supervisorctl restart qwen3.5-9b
7.2 清理日志
# 备份当前日志
cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak
# 清空日志
> /root/qwen3.5-9b/service.log
# 重启服务
supervisorctl restart qwen3.5-9b
8. 总结
通过本教程，你已经成功将Qwen3.5-9B大模型从HuggingFace下载并部署到本地WebUI。这个强大的开源模型可以用于各种自然语言处理任务，包括文本生成、代码编写和多模态理解。
记住，首次加载模型可能需要较长时间，请耐心等待。如果遇到任何问题，可以参考本文的故障排查部分，或者查看服务日志获取更多信息。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
