文章目录
-
- 1. Ollama 介绍
-
- 1.1 安装
- 1.2 配置环境
- 1.3 配置系统服务(可选,后台运行 Ollama)
- 1.4 客户端与服务端连接
- 1.5 安装时遇到的问题
- 1.6 Ollama 拉取Models
- 1.7 在线安装
1. Ollama 介绍
Ollama 可在 macOS、Windows 和 Linux 系统上使用,是运行 gpt-oss、Gemma 3、DeepSeek-R1、Qwen3 等大语言模型最简单便捷的方式。
Ollama 官网地址
githup 离线包下载地址
1.1 安装
推荐解压到系统目录(如 /usr/local,与官方安装脚本逻辑一致)官方安装脚本会将 Ollama 安装到 /usr/local 下,因此推荐解压到该目录以保持环境统一。
sudo tar -xzf ollama-linux-amd64.tgz -C /usr/local
# 如果是 Ollama 新版用的高压缩格式,这样解压
sudo tar -I zstd -xf ollama-linux-amd64.tar.zst -C /usr/local
-C /usr/local:指定解压目标目录为 /usr/local,解压后 /usr/local/bin/ollama 会成为可执行文件路径。
1.2 配置环境
验证可执行文件,解压后检查 ollama 可执行文件是否存在:
# 如果解压到 /usr/local
ls -l /usr/local/bin/ollama
# 如果解压到当前目录
ls -l ./bin/ollama
添加到系统 PATH(若未自动生效)
# 永久生效(写入 ~/.bashrc 或 ~/.zshrc)
echo 'export PATH=$PATH:/path/to/ollama/bin' >> ~/.bashrc
# 刷新配置
source ~/.bashrc
验证安装
# 检查 ollama 版本
ollama –version
# 运行基础命令(如拉取并运行 llama3 模型)
ollama run llama3

出现 Warning: could not connect to a running Ollama instance 错误时,核心原因是 Ollama 服务未启动、服务启动失败或客户端无法连接到服务端。
1.3 配置系统服务(可选,后台运行 Ollama)
官方安装脚本会自动配置 systemd 服务,手动解压后可参考以下步骤配置:
创建 ollama 用户和组
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 添加用户到 render/video 组(GPU 支持)
sudo usermod -a -G render ollama
sudo usermod -a -G video ollama
# 将当前用户加入 ollama 组
sudo usermod -a -G ollama $(whoami)
创建 systemd 服务文件
sudo tee /etc/systemd/system/ollama.service > /dev/null <<EOF
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
EOF
启动并启用服务
# 重新加载 systemd 的配置文件
sudo systemctl daemon-reload
# 开机自启
sudo systemctl enable ollama
# 启动服务
sudo systemctl start ollama
# 检查服务状态
sudo systemctl status ollama
1.4 客户端与服务端连接
检查 OLLAMA_HOST 环境变量
客户端通过 OLLAMA_HOST 环境变量指定服务端地址,默认是 http://127.0.0.1:11434。
# 查看当前 OLLAMA_HOST 配置
echo $OLLAMA_HOST
# 若为空或错误,手动设置(临时生效)
export OLLAMA_HOST=http://127.0.0.1:11434
# 永久生效(写入 ~/.bashrc)
echo 'export OLLAMA_HOST=http://127.0.0.1:11434' >> ~/.bashrc
source ~/.bashrc
测试网络连通性
# 测试 11434 端口是否可访问
curl http://127.0.0.1:11434/api/tags
# 若返回 JSON 数据(如 {"models":[]}),说明服务正常,客户端问题;
# 若返回 "Connection refused",说明服务未监听端口,重新启动服务。
允许外部访问(可选,如跨机器连接) 如果需要从其他机器连接 Ollama 服务,修改监听地址为 0.0.0.0:
# 临时启动(前台)
OLLAMA_HOST=0.0.0.0:11434 ollama serve
# 或修改 systemd 服务文件(永久生效)
sudo vim /etc/systemd/system/ollama.service
# 在 [Service] 段添加:
Environment="OLLAMA_HOST=0.0.0.0:11434"
# 重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
至此,Ollama 离线安装测试完毕。

1.5 安装时遇到的问题
彻底清除旧版 Ollama ,安装最新稳定版
# 先停止 Ollama 服务
sudo systemctl stop ollama
sudo systemctl disable ollama
# 彻底删除旧版本文件
sudo rm -f /usr/bin/ollama
sudo rm -f /usr/local/bin/ollama
sudo rm -rf /usr/share/ollama
sudo rm -f /etc/systemd/system/ollama.service
# 删除旧的服务配置(清理干净)
sudo systemctl daemon-reload
至此,安装新版本即可。
启动后不能连接服务 测试连接时报如下错误: Warning: could not connect to a running Ollama instance Warning: client version is 0.19.0 解决办法:
# 1. 强制杀死所有残留进程
sudo pkill -9 ollama
# 2. 重建最干净的服务文件
sudo rm -f /etc/systemd/system/ollama.service
sudo tee /etc/systemd/system/ollama.service > /dev/null <<EOF
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/local/bin/ollama serve
Environment=OLLAMA_HOST=127.0.0.1:11434
Restart=always
User=root
Group=root
[Install]
WantedBy=multi-user.target
EOF
# 3. 重新加载 + 启动服务
sudo systemctl daemon-reload
sudo systemctl enable –now ollama
1.6 Ollama 拉取Models
根据服务器配置拉取对应大模型版本,我的服务器只有4G内存,在这里就以 qwen2.5:0.5b 为例进行测试 
# 拉取 qwen2.5:0.5b
ollama run qwen2.5

1.7 在线安装
-
官方推荐安装
# 亲测下载速度很慢或者直接下载失败
curl -fsSL https://ollama.com/install.sh | sh -
github 拉取
# 使用 curl 下载
curl -L -o ollama-linux-amd64.tgz https://github.com/ollama/ollama/releases/download/v0.3.12/ollama-linux-amd64.tgz# 或使用 wget 下载
wget https://github.com/ollama/ollama/releases/download/v0.3.12/ollama-linux-amd64.tgz




