tkai-chat 是一款轻量化 Python 本地大模型对话工具包，基于 llama-cpp-python 实现 GGUF 模型本地推理，无需云端 API 密钥；内置 DuckDuckGo 实时联网检索功能，为大模型回答补充实时资讯，适合本地离线 AI 开发、知识库增强问答场景。 项目已开源至 GitHub，同时发布至 PyPI，一行命令即可安装使用。 项目仓库：添加链接描述 PyPI 地址：添加链接描述 项目特性 本地运行 GGUF 大模型，依托 llama-cpp-python，不需要云端 API Key DuckDuckGo 实时网页搜索，让 AI 获取最新网络信息 完整多轮对话上下文，支持流式 / 非流式两种输出模式 极简 TKClient 客户端接口，少量代码快速搭建对话程序 依赖分层设计：基础核心包 + 可选本地 LLM 扩展，避免冗余安装 环境要求 Python >= 3.11（3.11 / 3.12 / 3.13 推荐） 安装方式 方案 1：完整版（本地模型 + 联网搜索，推荐） 包含本地 GGUF 推理与搜索全部依赖
pip install "tkai-chat[local-llm]" -i https://pypi.tuna.tsinghua.edu.cn/simple
方案 2：极简基础版 仅保留核心客户端，无本地模型推理能力，适合对接各类云端大模型接口
pip install tkai-chat -i https://pypi.tuna.tsinghua.edu.cn/simple
离线 Wheel 本地安装
pip install "tkai_chat-0.5.1-py3-none-any.whl[local-llm]"
快速上手示例 新建 chat.py
from tkai_chat import TKClient
# 初始化客户端，开启联网搜索
# api_key留空自动加载本地GGUF模型
client = TKClient(enable_search=True)
chat_history = [
{"role": "system", "content": "你是简洁友好的本地AI助手，依托实时网络资料进行回答。"}
]
print("==== TKAI-CHAT 本地联网对话 ====")
print("输入 exit 退出对话\\n")
while True:
user_input = input("You: ")
if user_input.strip().lower() == "exit":
print("AI: 对话结束")
break
chat_history.append({"role": "user", "content": user_input})
# 联网增强对话，关闭流式输出
response = client.chat_with_search(chat_history, stream=False)
ai_content = response["choices"][0]["message"]["content"]
print(f"AI: {ai_content}")
chat_history.append({"role": "assistant", "content": ai_content})
运行命令
python chat.py
TKClient 接口说明
TKClient(
api_key: str = None, # 云端API密钥，留空启用本地GGUF模型
base_url: str = None, # 自定义云端接口地址
model: str = None, # 指定模型名称
enable_search: bool = True, # 是否开启联网搜索增强
proxy_addr: str = None # 网络代理地址
)
核心方法： chat_with_search(messages, stream=False) 本地模型推理 + 实时网页搜索增强问答，仅未设置 api_key 时可用 messages：OpenAI 标准格式对话列表 stream：True 开启流式输出；False 返回完整一次性结果 依赖清单 基础依赖：requests、tqdm local-llm 扩展依赖：llama-cpp-python、duckduckgo-search 常见问题 安装 llama-cpp-python 出现编译报错 Windows：安装 Visual C++ 生成工具；Linux：提前安装 gcc、cmake 清华源找不到最新 0.5.1 版本 镜像同步存在延迟，临时使用这条命令安装
pip install "tkai-chat[local-llm]" -i https://pypi.tuna.tsinghua.edu.cn/simple –extra-index-url https://pypi.org/simple
海龟编辑器无法安装 海龟内置 Python 版本低于 3.11，缺少 C++ 编译环境，建议使用官方标准 Python 环境运行。 注明：嘿嘿，这个库是本作者自己做的
