👨⚕️ 主页： gis分享者 👨⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨⚕️ 收录于专栏：AI大模型原理和应用面试题 
文章目录
- 一、🍀回答重点
- 二、🍀扩展知识
-
- 2.1 ☘️蒸馏的两种主要方式
- 2.2 ☘️经典蒸馏的核心原理
- 2.3 ☘️蒸馏和量化的核心区别
- 2.4 ☘️蒸馏的局限性
- 三、🍀面试官追问
一、🍀回答重点
模型蒸馏是一种\”以大教小\”的模型压缩技术，用一个大模型（教师模型）的输出来训练一个小模型（学生模型），让小模型学到大模型的知识和推理能力。
为什么不直接训练小模型？因为大模型的输出比原始标签包含更丰富的信息。比如一个图片分类任务，原始标签只告诉你\”这是猫\”，但大模型的输出可能是\”90% 猫、8% 狗、2% 狐狸\”，这种概率分布叫软标签，里面编码了类别之间的相似性关系。小模型学习软标签，比直接学硬标签能获得更好的泛化能力。
在大模型时代，蒸馏最典型的用法是让强模型生成高质量训练数据，然后拿这些数据训练一个更小的模型。DeepSeek-R1 就开源了蒸馏版本，用 R1 生成的推理链数据去训练 Qwen 和 LLaMA 的小模型，1.5B 的蒸馏版在数学推理上跑出了接近 GPT-4o-mini 的分数。 
蒸馏和量化目标都是\”把模型变小变快\”，但路径完全不同。蒸馏是训练一个全新的小模型，模型结构可以完全不一样；量化是把同一个模型的参数精度降低，比如从 FP16 降到 INT4，模型结构不变，只是数字的表示方式从高精度换成了低精度。
