LLM基础知识分成了十个部分：
Transformer结构
主流大模型
预训练Pre-train过程
后训练Post-train过程
模型压缩与量化
专家模型MoE
RAG&Agent
部署&分布式训练&推理加速
模型评估
其他结构
第一部分：Transformer结构
与LLM相关的面试都会问到transformer比如手撕多头注意力，自注意力缩放，参数计算等等
1.分词器tokenizer &Embedding层
BPE，BBPE，WordPiece等算法，了解一下各类模型的分词方法，感兴趣的同学可以看-下tokenizer在预训练过程具体如何处理
2.注意力模块
self-attention，cross-attention的原理MHA、MQA、GQA、MLA、DCA等多种注意力机制优化策略(可能会考手撕)，线性注意力，稀疏注意力，kvcache等等，这部分推荐看苏神的科学空间，原理推导写的很清楚
3.前馈神经网络FFN&残差连接&归一化
这几个模块的作用是什么，LN和BN的区别，pre-norm和post-norm，SwiGLU等激活函数，RMSNorm等归一化
4.位置编码 PE
为什么需要位置编码，常见的位置编码有哪些，如正余弦、可学习、ROPE、ALiBi、YARN等，绝对位置编码和相对位置编码长度外推策略，了解各大模型长上下文处理方式
5.代表模型
encoder-only,decoder-only
encoder-decoder，prefix-decoder等结构及其代表模型，分别适用于哪些任务，为什么现在的大模型都是decoder-only结构
6.解码策略
top-k、top-p、temperature等参数含义greedy search、beam search等解码策略投机解码及其优化算法
第二部分：主流大模型
BERT系列、GPT、Llama、Qwen、GLM、Baichuan、DeepSeek等等，注意关注一下发展脉络，每一代做了哪些优化，不要只看最新版
第三部分：预训练Pre-train过程
预训练任务有哪些，数据配比，数据筛选过滤方法，合成数据，这部分推荐阅读主流大模型开源的技术报告
第四部分：后训练Post-train 过程
这部分是面试过程中考察的第二个重点，般会联合实习项目一起深挖
1.SFT
微调数据构造，数据配比，全参微调，冻结微调，PEFT高效微调(prompt tuning、p-tuning v2、prefix-tuning、adapter-tuning、LoRA及其变体)
CoT，Reasoning等o1系列策略
这部分建议做一个完整项目，加深对每一个步骤的理解
2.RLHF&Aligning
为什么有SFT还需要 RLHF，两者有何区别，RLAIF，ReFT，OpenAl做RLHF的过程，里面的几个模型分别是怎么运作的，DPO的原理和实现，PPO和DPO对比，DPO有哪些问题以及如何优化，SimPO，KTO，ORPO，GRPO等等
第五部分：模型压缩与量化
了解各种量化方式，GPTQ，AWQ等，各种量化精度，训练显存计算
第六部分：专家模型 MOE
了解MOE结构及其原理，训练思路，推荐看知乎上关于 MOE的万字长文介绍
第七部分：RAG&Agent
借助 LangChain框架学习RAG流程，了解文档分块，向量模型训练，多种检索策略等关键步骤
Agent的几个框架，如ReAct，Reflexion等了解基本思路
第八部分：部署&分布式训练&推理加速
windows、ios、Android多端部署框架flash attention，vllm，accelerate等推理加速框架
Deepspeed，Megatron等分布式训练框架
第九部分：模型评估
阅读理解、问答、代码生成、数学等多个维度评估 Benchmark
检测 LLM 真实性、流畅度、幻觉等如何利用LLM 对其他模型/任务做评估
第十部分：其他结构
Mamba，RWKV等
建议大家在学习基础知识的同时，配合相关paper和源码一起，进一步加深理解 LLM更新迭代非常快，平时可以多关注一些新的动态，闲着没事多刷刷三大会。
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
