◆ 博主名称： 小此方-CSDN博客
大家好，欢迎来到小此方的博客。
⭐️LangChain/LangGraph系列个人专栏：
LangChain/Graph
⭐️此方的GitHub：
github_此方
⭐️
我们思考 (Rethink) · 我们重建 (Rebuild) · 我们记录 (Record)
文章目录
- 概要&序論
- 一、本地接入的方法论综述
-
- 1.1 本地部署的典型流程
- 1.2 主流推理框架选型
- 二、Ollama 本地部署实战
-
- 2.1 Ollama 简介
- 2.2Ollama安装
- 2.3 Ollama 常用指令
- 2.4上手用一用Ollama
-
- 2.4.1拉取模型DeepseekR1-1.5b
- 2.4.2启动模型
- 2.4.3对话试试
- 2.4.4用代码接入Ollama的DeepseekR1-1.5b
- 三、什么是SDK接入
- 四、使用现有的SDK库进行接入
-
- 4.1 使用 OpenAI SDK 进行调用
- 五、自制C++大模型SDK接入
概要&序論
Hello大家好，我是此方。本文开始讲解大模型的本地接入方案，我会先讲解本地接入的一般流程，然后用Ollama接入做一个演示，Ollama接入我会在Linux上通过写一个小型的代码来测试。好，我们开始吧。
一、本地接入的方法论综述
大模型本地部署，这种方式就是将开源的大型语言模型部署在你自己的硬件环境（本地服务器或私有云）中。其核心概念就是将下载的模型文件（权重和配置文件），使用专门的推理框架在本地服务器或 GPU 上加载并运行模型，然后通过类似 API 的方式进行交互。
一定只能是开源的！OpenAI、Google、Anthropic等公司的模型就不行。
1.1 本地部署的典型流程
在将开源模型接入应用系统时，通常需要遵循以下标准步骤：
1.2 主流推理框架选型
针对不同的使用场景与硬件条件，业界存在多种成熟的开源推理框架供开发人员选择：
- vLLM：特别注重高吞吐量的推理服务，性能极大优化，非常适合高并发生产环境。
- TGI：Hugging Face 官方推出的推理框架，功能全面，与生态结合紧密。
- Ollama：非常用户友好，可以一键拉取和运行模型，适合快速入门和本地开发测试。
- LM Studio：提供图形化界面，让本地运行模型像使用普通桌面软件一样简单直观。
我们用最省事儿的Ollama来接入一下看看。
二、Ollama 本地部署实战
2.1 Ollama 简介
Ollama 是一款专为本地部署和运行大型语言模型设计的开源工具，旨在简化大型语言模型的安装、运行和管理。 它支持多种开源模型，并提供简单的 API 接口，方便开发者调用，非常适合开发者和企业快速搭建私有化 AI 服务。 Ollama开源仓库 Ollama官方主页
2.2Ollama安装
复制这条命令去你的Linux机器上安装安装网站
curl -fsSL https://ollama.com/install.sh | sh
2.3 Ollama 常用指令
在日常开发与运维中，熟练掌握 Ollama 的命令行工具能够帮助我们高效管理本地的大模型服务。
| ollama server | 启动 Ollama |
| ollama show | 显示模型信息 |
| ollama run | 运行模型 |
| ollama stop | 停止正在运行的模型 |
| ollama pull | 从 Ollama 官方维护的模型库中拉取模型 |
| ollama list | 列出所有可用模型 |
| ollama ps | 列出正在运行的模型 |
| ollama rm | 删除模型 |
| ollama help | 显示任意命令的帮助信息 |
| -h, –help | 显示 Ollama 的帮助信息 |
| -v, –version | 显示版本信息 |
注意：ollama server 启动的是一个前台进程，终端关闭进程也就关闭了。在生产环境中，推荐使用 systemctl 来管理 Ollama 服务，该方式下 Ollama 服务在后台运行，即使终端关闭服务仍会继续运行。
> sudo systemctl start ollama # 启动服务
> sudo systemctl stop ollama # 停止服务
> sudo systemctl restart ollama # 重启服务
> sudo systemctl status ollama # 查看服务状态
2.4上手用一用Ollama
2.4.1拉取模型DeepseekR1-1.5b
点进来这里有很多的模型选择 
我们找一个Deepseek的超级阉割版，在我的轻薄本上也能跑。复制一下名称。我们去终端。 
ollama pull + 你刚才复制的模型名称，去从官方库吧这个模型拉取下来。 需要一点时间。好了我们用ollama list查看一下可用模型，多了一个说明成功了。
2.4.2启动模型
2.4.3对话试试
关闭大模型：/bye或者ctrl+ d。
2.4.4用代码接入Ollama的DeepseekR1-1.5b
完整源码大概四五百行，我已经放在我的仓库里面了，有需要的小伙伴可以自取。（讲起来有点麻烦不讲了） OllamaProvider.cc OllamaProvider.h OllamaTest
三、什么是SDK接入
这并非一种独立的接入方式，而是对第一种和第二种 接入方法的封装和简化。模型提供商通常会发布官方编程语言 SDK，为我们封装好了底层的 HTTP 请求细节，提供一个更符合编程习惯的、语言特定的函数库。
四、使用现有的SDK库进行接入
4.1 使用 OpenAI SDK 进行调用
pip install openai #pip 是 Python 语言专属的官方第三方包管理器
小提示 报错原因：新版 Linux 启用了 PEP 668 保护机制，防止全局及用户目录乱装包导致依赖冲突。
解决方案：若不想使用虚拟环境（venv），可在指令后附加参数强行解除限制，直接安装至家目录：
pip install –user openai –break-system-packages
安装 OpenAI SDK 后，可以创建一个名为 example.py 的文件并将示例代码复制到其中：
from openai import OpenAI
# 1. 初始化客户端（必须将 base_url 指向 DeepSeek 官方 API 地址）
client = OpenAI(
api_key="sk-eba74ea8fdd04508b66e89974efafd1c",
base_url="https://api.deepseek.com"
)
# 2. 发起对话请求
response = client.chat.completions.create(
model="deepseek-chat", # 指定调用的模型
messages=[
{"role": "system", "content": "你是一位专业的 Python 开发专家。"},
{"role": "user", "content": "用两句话介绍一下什么是异步编程。"}
]
)
# 3. 打印输出结果
print(response.choices[0].message.content)
五、自制C++大模型SDK接入
仓库地址，正在建设中。：C++接入SDK
好的本期内容就到这里，如果对你有帮助，还不要忘记点赞三联支持。我是此方，我们下期再见。bye!
