01_Docker 部署 Ollama 模型（支持 NVIDIA GPU）
在本地运行大模型时，Docker + Ollama 是非常方便的选择。
不过如果你需要调用显卡加速，就必须正确配置 WSL2 + NVIDIA Container Toolkit。
本文将完整梳理安装流程，并提供可直接使用的 docker-compose.yml 配置。
1️⃣ 安装 Ubuntu WSL2
首先需要一个完整的 Linux 环境，这里使用 Ubuntu WSL2。
在 PowerShell（管理员模式） 中执行：
wsl –install -d Ubuntu
- 自动安装最新的 Ubuntu，并启用 WSL2 内核。
- 安装完成后，首次进入会提示你创建用户名和密码。
查看当前已安装的发行版：
wsl -l -v
2️⃣ 启动并配置 Ubuntu
进入 Ubuntu 环境：
wsl -d Ubuntu
在 Ubuntu 内更新环境：
sudo apt update
sudo apt install -y curl gnupg
3️⃣ 安装 NVIDIA Container Toolkit
如果要让 Docker 使用 GPU，需要安装 NVIDIA Container Toolkit。
🔹 验证是否已支持 GPU
运行测试命令：
docker run –rm –gpus all nvidia/cuda:12.3.0-base-ubuntu22.04 nvidia-smi
- 成功：输出与你本机 nvidia-smi 类似的 GPU 信息。
- 失败（如提示 could not select device driver "nvidia"）：说明需要安装 Toolkit。
🔹 安装 Toolkit（WSL2 内执行）
# 添加 NVIDIA 软件源
curl -fsSL https://mirrors.ustc.edu.cn/libnvidia-container/gpgkey | \\
sudo gpg –dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \\
sed 's#deb https://nvidia.github.io#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://mirrors.ustc.edu.cn#g' | \\
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 安装 Toolkit
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
# 配置 Docker
sudo nvidia-ctk runtime configure –runtime=docker
sudo systemctl restart docker
⚠️ 提示：在 Windows 主机 上，也要确认 Docker Desktop 已启用 WSL 2 后端（Settings > General > Use WSL 2 based engine），并且勾选了 GPU 选项。
4️⃣ 安装 Ollama Desktop（可选）
在 Windows 上可以先安装 Ollama Desktop，用来测试模型运行。
例如运行一个模型：
ollama run qwen2:7b
如果模型下载卡在 100% 或报错超时，记得配置代理。
测试运行是否正常，例如：
ollama run qwen2:7b –prompt "你好，请自我介绍一下"
5️⃣ Docker 部署 Ollama
下面是一个完整的 docker-compose.yml 配置，支持 GPU 加速。
version: '3.8'
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: unless-stopped
ports:
– "11434:11434" # Ollama API 端口
volumes:
– E:/ollama/models:/root/.ollama/models # 模型目录映射
runtime: nvidia
environment:
– OLLAMA_HOST=0.0.0.0:11434
– OLLAMA_ORIGINS=*
– NVIDIA_VISIBLE_DEVICES=all
– NVIDIA_DRIVER_CAPABILITIES=compute,utility
启动容器：
docker-compose up -d
6️⃣ 测试 Ollama API
容器启动后，可以直接通过 API 调用模型：
curl http://localhost:11434/api/generate -d '{
"model": "qwen2:7b",
"prompt": "写一首关于秋天的诗"
}'
如果能得到正常返回，说明部署成功 🎉。
✅ 总结
这样，你就能在 Windows 上用 Docker + GPU 运行大模型了 🚀。
