5 分钟在本地跑起一台 AI 服务器：LocalAI 免费安装与首次对话完整指南

5 分钟在本地跑起一台 AI 服务器：LocalAI 免费安装与首次对话完整指南

【免费下载链接】LocalAI LocalAI is the open-source AI engine. Run any model – LLMs, vision, voice, image, video – on any hardware. No GPU required. 项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI

你会得到一个跑在自己电脑上的 AI 服务：文本对话、图片生成、语音合成，免费且兼容 OpenAI 接口。这个项目叫 LocalAI，核心能力是把任意模型（LLM、视觉、语音、图像）跑在任意硬件上，不需要 GPU。

先看看你手里有什么

一句话判断：满足"普通 CPU + 8GB 内存"这一条，你就适合本地跑。有 NVIDIA、AMD 或 Apple Silicon GPU 只是更快，不是门槛。

🐳 用一条 Docker 命令把 LocalAI 跑起来

下面这条命令会拉取 CPU 版镜像并启动服务，把容器 8080 端口映射到你的本机：

docker run -ti –name local-ai -p 8080:8080 localai/localai:latest

服务起来后，用这条命令确认它是否就绪：

curl http://localhost:8080/readyz

返回 ok 就说明装好了。浏览器打开 http://localhost:8080，你会看到欢迎页和模型列表：

其他安装方式这里不展开：安装脚本与源码构建见 安装文档，macOS 桌面版见 macOS 指南。

💬 发出第一个请求

先装一个小模型：在 Web 界面进 Models → Explore，搜索 qwen3-4b 点 Install，等下载完成。

然后在终端向它发一条对话请求：

curl http://localhost:8080/v1/chat/completions \\
-H "Content-Type: application/json" \\
-d '{"model": "qwen3-4b", "messages": [{"role": "user", "content": "你好"}]}'

返回什么算成功：响应 JSON 里 choices[0].message.content 有模型回复的文本，就说明你的本地 AI 已经能对话了。之后每次打开 Web 界面的 Chat 页，选模型、发消息即可，效果见下图：

🔁 换另一个模型试试

• Web 界面：在 Models 页直接 Install 别的模型（比如 llama-3.2-1b-instruct:q4_k_m），Chat 页下拉框切过去就行。
• 命令行：local-ai run llama-3.2-1b-instruct:q4_k_m，一条命令装完即加载。
• 想用自己的模型：把 HuggingFace 文件地址传给 local-ai run huggingface://用户名/仓库/文件.gguf。
• 每个模型的预置配置都放在 gallery/ 目录，一个模型一个 YAML。

🧯 卡住了看这里

8080 端口被占用？ 把启动命令里的 -p 8080:8080 改成 -p 9090:8080，之后访问 http://localhost:9090。

内存不够或模型加载失败？ 换更小或量化版本（带 q4_k_m 标识的），CPU 场景选 1B~4B 规格最稳。

浏览器打不开页面？ 先 docker ps 确认容器在运行，再 docker logs local-ai 看启动日志定位报错。

API 返回 "model not found"？ 模型还没装。在 Web 界面 Models 页或 local-ai run <模型名> 装好再试。

🚦 跑通之后

• 试试图片生成和语音合成：Web 界面顶部导航有 Generate images / TTS 入口，对应后端实现在 backend/go/。
• 搭一个会调用工具的 AI Agent：官方教程见 构建第一个 Agent。
• 想横向扩展或玩函数调用：分布式推理在 core/p2p/，函数调用解析在 pkg/functions/。

【免费下载链接】LocalAI LocalAI is the open-source AI engine. Run any model – LLMs, vision, voice, image, video – on any hardware. No GPU required. 项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考