大模型数据集全景总结：训练、预训练、微调、评测数据集完整指南

本文全面梳理大模型领域相关的开源数据集，涵盖预训练语料、指令微调数据、偏好对齐数据、评测基准数据四大类，提供下载地址、使用方法和最佳实践。

目录

• 一、数据集全景图
• 二、预训练语料数据集
• 三、指令微调数据集
• 四、偏好对齐数据集（RLHF/DPO）
• 五、评测基准数据集
• 六、领域专用数据集
• 七、多模态数据集
• 八、数据集使用最佳实践

一、数据集全景图

1.1 数据集分类体系

┌─────────────────────────────────────────────────────────────────┐
│ 大模型数据集分类 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 1. 预训练语料（海量无标注文本） │
│ ├── 通用网页数据: Common Crawl, C4, RefinedWeb │
│ ├── 代码数据: The Stack, StarCoder Data │
│ ├── 学术论文: arXiv, S2ORC │
│ ├── 书籍: Books3, Gutenberg │
│ └── 百科: Wikipedia │
│ │
│ 2. 指令微调数据（输入→输出对） │
│ ├── 通用指令: Alpaca, ShareGPT, OpenAssistant │
│ ├── 中文指令: BELLE, Firefly, COIG │
│ ├── 代码指令: CodeAlpaca, Magicoder │
│ └── 数学指令: MetaMath, WizardMath │
│ │
│ 3. 偏好对齐数据（chosen/rejected 对） │
│ ├── DPO 数据: UltraFeedback, Nectar │
│ ├── RLHF 数据: Anthropic HH, OpenAI Summarize │
│ └── 安全对齐: SafeRLHF, BeaverTails │
│ │
│ 4. 评测基准数据（标准化测试） │
│ ├── 知识: MMLU, ARC, C-Eval │
│ ├── 推理: GSM8K, MATH, BBH │
│ ├── 代码: HumanEval, MBPP │
│ ├── 对话: MT-Bench, AlpacaEval │
│ └── 安全: TruthfulQA, ToxicChat │
│ │
└─────────────────────────────────────────────────────────────────┘

1.2 数据集速查表

二、预训练语料数据集

2.1 通用网页数据

Common Crawl

C4 (Colossal Clean Crawled Corpus)

from datasets import load_dataset
dataset = load_dataset("c4", "en", split="train", streaming=True)
for item in dataset.take(5):
print(item["text"][:200])

RefinedWeb (Falcon 使用)

RedPajama v2

FineWeb (HuggingFace)

from datasets import load_dataset
dataset = load_dataset("HuggingFaceFW/fineweb", name="sample-10BT", split="train")

中文预训练语料

2.2 代码数据

The Stack v2 (BigCode)

from datasets import load_dataset
dataset = load_dataset("bigcode/the-stack-v2", split="train", streaming=True)

StarCoder Data

CodeSearchNet

2.3 学术论文数据

2.4 书籍数据

2.5 百科知识数据

# Wikipedia
from datasets import load_dataset
wiki = load_dataset("wikimedia/wikipedia", "20231101.en", split="train")
print(f"Wikipedia 条目数: {len(wiki)}")

# 中文 Wikipedia
wiki_zh = load_dataset("wikimedia/wikipedia", "20231101.zh", split="train")

2.6 预训练数据集处理工具

# 使用 datatrove 处理预训练数据
from datatrove.pipeline.readers import JsonlReader
from datatrove.pipeline.filters import GopherRepetitionFilter
from datatrove.pipeline.writers import JsonlWriter

pipeline = [
JsonlReader("raw_data/"),
GopherRepetitionFilter(),
JsonlWriter("cleaned_data/")
]

# 使用 dolma 处理
# https://github.com/allenai/dolma

三、指令微调数据集

3.1 英文指令数据

Alpaca (斯坦福)

from datasets import load_dataset
dataset = load_dataset("tatsu-lab/alpaca", split="train")
print(dataset[0])
# {'instruction': 'Give three tips for staying healthy.',
# 'input': '',
# 'output': '1. Eat a balanced diet…'}

ShareGPT / Vicuna

OpenAssistant (OASST2)

UltraChat

SlimOrca

LIMA

Capybara

3.2 中文指令数据

BELLE

from datasets import load_dataset
dataset = load_dataset("BelleGroup/train_3.5M_CN", split="train")

Firefly

COIG (Chinese Open Instruction Generalist)

Alpaca-GPT4-Chinese

MOSS-SFT

Infinity-Instruct

3.3 代码指令数据

3.4 数学指令数据

3.5 指令数据生成工具

Self-Instruct

git clone https://github.com/yizhongw/self-instruct.git
cd self-instruct
python self_instruct.py –num_instructions 10000

Evol-Instruct (WizardLM)

git clone https://github.com/nlpxucan/WizardLM.git
cd WizardLM/Evol-Instruct
python evolve.py –output_file evol_instructions.json

Alpaca-Evol

pip install alpaca-evol
alpaca_evol generate –num 10000 –output alpaca_evol.json

四、偏好对齐数据集（RLHF/DPO）

4.1 英文偏好数据

UltraFeedback

from datasets import load_dataset
dataset = load_dataset("openbmb/UltraFeedback", split="train")
# {'prompt': '…', 'chosen': '…', 'rejected': '…'}

Anthropic HH-RLHF

Nectar

SHP (Stanford Human Preferences)

HelpSteer2 (NVIDIA)

Distilabel-Capybara-DPO

4.2 中文偏好数据

4.3 偏好数据构建方法

"""使用 GPT-4 构建 DPO 数据"""
import openai

client = openai.OpenAI()

def generate_preference_pair(question: str) –> dict:
"""生成偏好对"""
# 生成多个回答
responses = []
for temp in [0.3, 0.7, 1.0]:
resp = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": question}],
temperature=temp
)
responses.append(resp.choices[0].message.content)

# 让 GPT-4 评分排序
eval_prompt = f"""请对以下回答排序（1=最好，3=最差）：
问题：{question}
回答A：{responses[0]}
回答B：{responses[1]}
回答C：{responses[2]}

输出格式：A排名X，B排名Y，C排名Z"""

eval_resp = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": eval_prompt}],
temperature=0
)

# 根据排名构建 chosen/rejected
# chosen = 最好的回答, rejected = 最差的回答
return {
"prompt": question,
"chosen": responses[0], # 假设A最好
"rejected": responses[2] # 假设C最差
}

五、评测基准数据集

5.1 综合知识评测

MMLU (Massive Multitask Language Understanding)

from datasets import load_dataset
mmlu = load_dataset("cais/mmlu", "all", split="test")
# {'question': '…', 'choices': ['A', 'B', 'C', 'D'], 'answer': 2}

C-Eval (中文评测)

CMMLU (中文多任务)

5.2 数学推理评测

GSM8K

from datasets import load_dataset
gsm8k = load_dataset("openai/gsm8k", "main", split="test")
# {'question': 'Natalia sold clips to 48 of her friends…',
# 'answer': 'She sold 48/2 = 24 clips to her friends…\\n#### 72'}

MATH

GSM8K-Platinum

5.3 代码评测

HumanEval

from datasets import load_dataset
humaneval = load_dataset("openai/openai_humaneval", split="test")
# {'task_id': 'HumanEval/0', 'prompt': 'def has_close_elements…',
# 'canonical_solution': '…', 'test': 'def check(candidate)…'}

MBPP

MultiPL-E

5.4 推理评测

ARC (AI2 Reasoning Challenge)

HellaSwag

BBH (BIG-Bench Hard)

GPQA

5.5 对话评测

MT-Bench

AlpacaEval

Arena-Hard-Auto

5.6 安全评测

5.7 基准测试速查

六、领域专用数据集

6.1 医疗健康

6.2 金融

6.3 法律

6.4 教育

七、多模态数据集

7.1 图文数据

7.2 视频数据

7.3 语音数据

八、数据集使用最佳实践

8.1 数据下载与加载

# ===== HuggingFace datasets 库 =====
from datasets import load_dataset

# 加载数据集
dataset = load_dataset("tatsu-lab/alpaca", split="train")

# 流式加载（大数据集）
dataset = load_dataset("HuggingFaceFW/fineweb", split="train", streaming=True)

# 自定义缓存目录
dataset = load_dataset("openai/gsm8k", cache_dir="./data/cache")

# 加载本地数据
dataset = load_dataset("json", data_files="my_data.json")
dataset = load_dataset("csv", data_files="my_data.csv")

# ===== 使用 modelscope（国内更快）=====
from modelscope.msdatasets import MsDataset
dataset = MsDataset.load("chinese_alpaca_sft")

8.2 数据处理 Pipeline

from datasets import load_dataset

# 1. 加载原始数据
raw = load_dataset("tatsu-lab/alpaca", split="train")

# 2. 数据清洗
def clean(example):
# 过滤空数据
if not example["instruction"] or not example["output"]:
return False
# 过滤太短的数据
if len(example["output"]) < 10:
return False
return True

filtered = raw.filter(clean)

# 3. 格式化
def format_chatml(example):
return {
"messages": [
{"role": "user", "content": example["instruction"] + example.get("input", "")},
{"role": "assistant", "content": example["output"]}
]
}

formatted = filtered.map(format_chatml)

# 4. 划分训练/验证集
split = formatted.train_test_split(test_size=0.1, seed=42)
train_set = split["train"]
val_set = split["test"]

# 5. 保存处理后的数据
train_set.to_json("train_processed.json")
val_set.to_json("val_processed.json")

8.3 数据混合策略

"""混合多个数据集"""
from datasets import concatenate_datasets, interleave_datasets

# 加载多个数据集
alpaca = load_dataset("tatsu-lab/alpaca", split="train")
sharegpt = load_dataset("anon8231489123/ShareGPT_Vicuna_unfiltered", split="train")
code = load_dataset("sahil2801/CodeAlpaca-20k", split="train")

# 方法1: 简单拼接
mixed = concatenate_datasets([alpaca, sharegpt, code])

# 方法2: 交错采样（按比例混合）
mixed = interleave_datasets(
[alpaca, sharegpt, code],
probabilities=[0.5, 0.3, 0.2], # 50% 通用, 30% 对话, 20% 代码
seed=42
)

print(f"混合数据集大小: {len(mixed)}")

8.4 数据质量检查

"""数据质量检查清单"""
def quality_check(dataset):
stats = {
"total": len(dataset),
"empty": 0,
"too_short": 0,
"too_long": 0,
"duplicates": 0
}

seen = set()
for item in dataset:
text = item.get("text", "") or str(item)

if not text.strip():
stats["empty"] += 1
elif len(text) < 20:
stats["too_short"] += 1
elif len(text) > 10000:
stats["too_long"] += 1

if text in seen:
stats["duplicates"] += 1
seen.add(text)

print(f"总样本: {stats['total']}")
print(f"空样本: {stats['empty']}")
print(f"过短: {stats['too_short']}")
print(f"过长: {stats['too_long']}")
print(f"重复: {stats['duplicates']}")

return stats

quality_check(dataset)

8.5 数据集大小参考

8.6 数据许可证注意事项