Transformer 骨架精讲：Self-Attention 公式、参数量，为什么要除以 √d
【大模型面试通关手册 · 第 02 篇】 本篇覆盖：self-attention 的计算方式、self-attention 的公式与参数量、为什么用多头、为什么要除以 √d、简单介绍 Transformer 架构（校招面 2.1 / 百度 Q1 / 架构题）
一、面试现场：这道题一般怎么问
这是校招和社招都会问、但问法差别很大的题。
校招的版本比较直接：
“说一下 self-attention 的计算方式。” “self-attention 的公式写一下，参数量多少？”
社招的版本会往里扎：
“为什么一定要除以 √d？不除会怎样？”（这时候说\”防止梯度消失\”是不够的，要能推出方差） “多头的参数量和单头比，多了多少？”（答\”多几倍\”就错了） “既然 attention 是全连接的，为什么还要位置编码？” “手写一下带 mask 的 multi-head attention。”
这道题是唯一一道你必须在白板上写对的题。写不出来，后面讲 RAG、讲 RLHF 都会被打折。
