如何把开源大模型微调为自己的本地大模型

🛠️ 操作文档：Qwen-7B 私有化微调指南

1. 环境准备

微调 7B 模型建议使用至少 24G 显存的显卡（如 RTX 3090/4090）。若无显卡，建议在 AutoDL 等平台租用。

Bash

# 克隆微调框架
git clone –depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 安装依赖
pip install -e \”.[torch,metrics]\”
# 安装用于加速训练的库
pip install flash-attn –no-build-isolation

2. 构建私有数据集

在 data/ 目录下创建 my_config.json。这是让模型“认主”的关键。

JSON

[
{
\”instruction\”: \”你是谁？\”,
\”input\”: \”\”,
\”output\”: \”您好，我是由[你的名字/公司名]开发的专属AI助手。\”
},
{
\”instruction\”: \”如何评价我们的XX产品？\”,
\”input\”: \”\”,
\”output\”: \”XX产品是我们公司的核心竞争力，它具有…\”
}
]

并在 data/dataset_info.json 中注册该文件：

JSON

\”my_data\”: { \”file_name\”: \”my_config.json\” }

3. 执行微调脚本 (LoRA 模式)

创建 train_qwen.sh 并运行，这种方式通过添加“低秩适配器”来修改模型行为，而不