LLaMA Factory：一个框架微调 100+ 大模型，零代码 Web UI 开箱即用，ACL 2024 论文，Amazon/NVIDIA/阿里云都在用

LLaMA Factory：一个框架微调 100+ 大模型，零代码 Web UI 开箱即用，ACL 2024 论文，Amazon/NVIDIA/阿里云都在用

💡 微调大模型有多难？LLaMA Factory 说：零代码。100+ 模型（LLaMA/Qwen3/DeepSeek/Gemma3/GLM-4.1V/Phi-4/Llama 4）Day-0 支持；全量微调/Freeze/LoRA/QLoRA(2~8bit)/DoRA/PiSSA 一键切换；SFT/RLHF/DPO/KTO/ORPO/PPO 全对齐方法覆盖；FlashAttention-2/Unsloth/Liger-Kernel/GaLore 等前沿加速；Gradio Web UI 零代码操作；vLLM/SGLang 一键部署推理；Colab 免费白嫖 T4；FSDP+QLoRA 两张 24GB 显卡微调 70B；Ascend NPU + AMD GPU 双国产加速卡支持；Google Scholar 引用 1000+。ACL 2024 收录，GitHub 45K+ Star，大模型微调的"瑞士军刀"。

📌 目录

• 1. LLaMA Factory 是什么？
• 2. 核心特性一览
• 3. 支持 100+ 模型（Day-0 支持）
• 4. 训练方法全覆盖
• 5. 高级算法与加速技巧
• 6. 安装与快速开始
• 7. 零代码 Web UI：LLaMA Board
• 8. 数据准备
• 9. 微调实战示例
• 10. 推理部署：vLLM + SGLang
• 11. 多硬件后端支持
• 12. 实验监控生态
• 13. 竞品横评
• 14. 优缺点与使用建议
• 15. 总结

1. LLaMA Factory 是什么？

LLaMA Factory 是一个统一高效的大模型微调框架，让微调 100+ 个 LLM 和 VLM 变得像喝咖啡一样简单。

• 🔗 项目地址：https://github.com/hiyouga/LlamaFactory
• 📖 文档：llamafactory.readthedocs.io
• 📝 博客：blog.llamafactory.net
• 📜 论文：ACL 2024，Google Scholar 引用 1000+
• 📦 PyPI：pip install llamafactory
• 🐳 Docker：hiyouga/llamafactory
• ⭐ GitHub Star：45K+
• 📜 许可证：Apache 2.0

大厂背书

Amazon → SageMaker HyperPod + LLaMA Factory 微调银行文档
NVIDIA → RTX AI Toolkit 集成 LLaMA Factory
阿里云 → PAI-DSW 官方支持 LLaMA Factory

一句话总结

LLaMA Factory = 大模型微调的"瑞士军刀"
= 100+ 模型 × 全训练方法 × 全对齐方法
= 零代码 Web UI + CLI + API
= vLLM/SGLang 一键部署
= Colab 免费跑 + FSDP+QLoRA 2卡微调70B

2. 核心特性一览

3. 支持 100+ 模型（Day-0 支持）

Day-0 支持（模型发布当天即可微调）

支持模型家族

4. 训练方法全覆盖

微调方式

QLoRA 量化位宽

对齐方法

训练阶段

5. 高级算法与加速技巧

优化器

加速技巧

关键性能数据

6. 安装与快速开始

安装

# 方式 1：pip 安装（推荐）
pip install llamafactory

# 方式 2：从源码安装
git clone –depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

# 方式 3：Docker
docker pull hiyouga/llamafactory:latest

# 方式 4：Ascend NPU
pip install -e ".[torch,npu,metrics]"

# 方式 5：AMD GPU
pip install -e ".[torch,metrics]" –rocm

快速微调（CLI）

# LoRA 微调 Qwen3-8B，4行命令
llamafactory-cli train \\
–model_name_or_path Qwen/Qwen3-8B \\
–dataset alpaca_en_demo \\
–finetuning_type lora \\
–output_dir saves/qwen3-lora

YAML 配置方式

# examples/train_lora/qwen3_lora_sft.yaml
model_name_or_path: Qwen/Qwen3–8B
stage: sft
finetuning_type: lora
dataset: alpaca_en_demo
template: qwen3
output_dir: saves/qwen3–lora
per_device_train_batch_size: 2
gradient_accumulation_steps: 4
lr_scheduler_type: cosine
logging_steps: 10
save_steps: 500
learning_rate: 1.0e-4
num_train_epochs: 3.0
plot_loss: true

llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml

7. 零代码 Web UI：LLaMA Board

# 启动 Web UI
llamafactory-cli webui

功能一览

💡 完全零代码！鼠标点点就能微调大模型，新手友好度拉满！

8. 数据准备

数据格式

// 指令微调（SFT）
[
{
"instruction": "Translate the following English text to Chinese.",
"input": "Hello, how are you?",
"output": "你好，你好吗？"
}
]

// 偏好对齐（DPO/KTO/ORPO）
[
{
"instruction": "Write a poem about spring.",
"input": "",
"chosen": "Spring brings flowers blooming bright…",
"rejected": "Spring is a season."
}
]

内置数据集（50+）

自定义数据集

# dataset_info.json
{
"my_dataset": {
"file_name": "my_data.json",
"columns": {
"prompt": "instruction",
"query": "input",
"response": "output"
}
}
}

9. 微调实战示例

示例 1：LoRA 微调 Qwen3-8B（消费级显卡）

llamafactory-cli train \\
–model_name_or_path Qwen/Qwen3-8B \\
–stage sft \\
–finetuning_type lora \\
–lora_rank 8 \\
–lora_target all \\
–dataset alpaca_zh_demo \\
–template qwen3 \\
–output_dir saves/qwen3-lora \\
–per_device_train_batch_size 2 \\
–gradient_accumulation_steps 4 \\
–lr_scheduler_type cosine \\
–logging_steps 10 \\
–save_steps 500 \\
–learning_rate 1e-4 \\
–num_train_epochs 3 \\
–plot_loss true \\
–fp16

示例 2：QLoRA 4-bit 微调 Llama-3-8B（16GB 显卡）

llamafactory-cli train \\
–model_name_or_path meta-llama/Meta-Llama-3-8B \\
–stage sft \\
–finetuning_type lora \\
–quantization_bit 4 \\
–quantization_method bitsandbytes \\
–lora_rank 8 \\
–dataset alpaca_en_demo \\
–template llama3 \\
–output_dir saves/llama3-qlora \\
–per_device_train_batch_size 1 \\
–gradient_accumulation_steps 8 \\
–learning_rate 2e-4 \\
–num_train_epochs 3 \\
–fp16

示例 3：DPO 偏好对齐

llamafactory-cli train \\
–model_name_or_path Qwen/Qwen3-8B \\
–stage dpo \\
–finetuning_type lora \\
–dataset dpo_demo \\
–template qwen3 \\
–output_dir saves/qwen3-dpo

示例 4：多模态微调 Qwen2.5-VL

llamafactory-cli train \\
–model_name_or_path Qwen/Qwen2.5-VL-7B-Instruct \\
–stage sft \\
–finetuning_type lora \\
–dataset mllm_demo \\
–template qwen2_vl \\
–output_dir saves/qwen25vl-lora

示例 5：合并 LoRA 导出

llamafactory-cli export \\
–model_name_or_path Qwen/Qwen3-8B \\
–adapter_name_or_path saves/qwen3-lora \\
–template qwen3 \\
–finetuning_type lora \\
–export_dir models/qwen3-lora-merged \\
–export_size 2 \\
–export_device cpu \\
–export_legacy_format false

示例 6：导出 Ollama 模型

llamafactory-cli export \\
–model_name_or_path Qwen/Qwen3-8B \\
–adapter_name_or_path saves/qwen3-lora \\
–template qwen3 \\
–finetuning_type lora \\
–export_dir models/qwen3-lora \\
–export_quantization_bit 4 \\
–export_to_ollama true

10. 推理部署：vLLM + SGLang

vLLM 推理（270% 加速）

llamafactory-cli api \\
–model_name_or_path models/qwen3-lora-merged \\
–infer_backend vllm \\
–open_api_port 8000

SGLang 推理

llamafactory-cli api \\
–model_name_or_path models/qwen3-lora-merged \\
–infer_backend sglang \\
–open_api_port 8000

OpenAI 兼容 API

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="test")

response = client.chat.completions.create(
model="qwen3-lora",
messages=[{"role": "user", "content": "你好！"}],
)
print(response.choices[0].message.content)

Gradio UI 推理

llamafactory-cli chat \\
–model_name_or_path models/qwen3-lora-merged \\
–template qwen3

11. 多硬件后端支持

12. 实验监控生态

13. 竞品横评

大模型微调框架对比

14. 优缺点与使用建议

✅ 优点

⚠️ 注意事项

💡 使用建议

15. 总结

LLaMA Factory 是大模型微调领域的标杆级项目：

• 🤖 100+ 模型 Day-0/Day-1 支持，新模型第一时间可微调
• 🔧 全方法覆盖：全量/LoRA/QLoRA/DoRA/PiSSA/OFT + SFT/DPO/KTO/ORPO/PPO
• 🚀 前沿加速：Unsloth 170%/vLLM 270%/Liger-Kernel/GaLore/KTransformers
• 🖥️ 零代码 Web UI：LLaMA Board 鼠标点点即微调
• ⚡ 一键部署：vLLM/SGLang 推理 + OpenAI API + Ollama 导出
• 📱 多模态：图像/视频/音频理解全支持
• 🔌 多硬件：NVIDIA/AMD/NPU/Megatron-core
• 📊 实验监控：TensorBoard/W&B/MLflow/SwanLab
• 🎓 ACL 2024 论文，Google Scholar 1000+ 引用
• 🏢 大厂背书：Amazon/NVIDIA/阿里云官方使用

推荐指数：⭐⭐⭐⭐⭐

无论你是想微调第一个大模型的新手，还是在生产环境部署微调系统的工程师，LLaMA Factory 都是当前最好的选择。100+ 模型 × 全方法 × 零代码 × 极速推理，大模型微调就该这么简单。

📢 项目地址：https://github.com/hiyouga/LlamaFactory 📖 文档：llamafactory.readthedocs.io 📝 博客：blog.llamafactory.net 📄 论文：arXiv 2403.13372 🎮 Colab 体验：免费 T4 微调 🤗 Demo：HuggingFace Spaces

标签：#LLaMAFactory #大模型微调 #LoRA #QLoRA #DPO #RLHF #vLLM #Qwen3 #DeepSeek #ACL2024