文章主要内容总结
本文聚焦于大语言模型（LLMs）的压缩问题，研究了知识蒸馏（Knowledge Distillation, KD）在问答（QA）任务中对模型压缩的效果，旨在探索在资源受限环境下，如何在保持模型性能的同时减小模型规模。
- 研究方法：以Pythia和Qwen2.5两个模型家族为研究对象，从较大的教师模型中蒸馏出不同规模的学生模型，并在SQuAD v2.0（英语问答，含不可回答问题）和MLQA（多语言问答，重点分析英语和德语子集）两个基准数据集上，在零样本和单样本提示条件下评估学生模型的性能。
- 核心结果：学生模型能保留教师模型90%以上的性能，同时参数数量最多可减少57.1%；单样本提示相比零样本提示，能为两个模型家族带来额外的性能提升；蒸馏后的学生模型性能普遍优于同等规模的微调学生模型。
- 关键发现：中等规模的学生模型（如Qwen2.5-3B、Pythia-1.4B）在效率和性能间达到较好平衡；模型对提示的敏感性存在差异（如Pythia模型在SQuAD数据集上的验证与测试性能不一致）；模型家族和语言特性会影响学生模型的效果。
