大模型面试必备13-Softmax 前为什么要除以根号 d？

面试硬核解析：Transformer 中 Softmax 前为什么要除以根号 $d$？

在深度学习和大模型的面试中，Transformer 架构的细节是绝对的必考区。其中，关于自注意力机制（Self-Attention）经常有一个极为经典的连环问：

“在计算 Attention Score 时，为什么要除以 $\sqrt{d_k}$？”
“你能从数学期望和方差的角度推导一下吗？”

它的核心公式如下 ：

$$\text{Attention Scores}=\text{Softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)$$

今天，我们就来彻底拆解这道硬核面试题。

一、 直观理解：Softmax 的“敏感病”

首先，我们要明白 Softmax 并不是一个完美的函数，它对输入的绝对大小极其敏感 。

• 输入过大： Softmax 的输出概率分布会变得极度尖锐（即某个值无限逼近 1，其他值逼近 0） 。这会导致一个致命问题——梯度消失，在反向传播时梯度趋近于 0，模型几乎无法学习 。

• 输入过小： 输出分布会趋于均匀（大家都是平庸的概率），注意力机制就失去了“区分度”和重点 。

灾难演示：
假设我们在未经缩放时，计算出的注意力分数差异稍微大一点，比如 [1000, 10, 5] 。
经过 Softmax 后，输出会变成：

$$\text{Softmax}([1000,10,5])\approx [1,0,0]$$

此时，梯度几乎无法传播到非最大值的位置，整个网络在这个节点上就“卡死”了 。为了保证输入 Softmax 的数值范围始终处于合理区间，我们必须对 $Q$ 和 $K$ 相乘的结果进行缩放 。

二、 核心症结：维度 $d$ 带来的“方差爆炸”

为什么 $Q$ 和 $K$ 相乘后，数值会变大呢？因为维度叠加导致了方差爆炸。

假设输入向量 $Q$ 和 $K$ 的维度为 $d$，并且它们的每个元素都是独立随机抽取的，服从均值为 0、方差为 1的分布 。
当 $Q$ 和 $K$ 进行点积后：

• 结果的期望值依然为 0 。

• 但结果的方差变成了 $d$ 。

这意味着，如果你的词向量维度 $d=512$，那么点积结果的方差直接飙升到了 512！数值波动的范围变得极大，极易触发 Softmax 的梯度消失。

三、 面试高光：手撕数学推导

如果面试官让你证明“方差为什么变成了 $d$”，请自信地写下以下推导过程：

设 $Q=[q_1,q_2,\dots ,q_d]$，$K=[k_1,k_2,\dots ,k_d]$ ，且满足：

• $\mathbb{E}[q_i]=\mathbb{E}[k_j]=0$

• $Var(q_i)=Var(k_j)=1$

• $q_i$ 与 $k_j$ 相互独立

1. 证明期望为 0

点积的期望展开为 ：

$$\mathbb{E}[Q\cdot K]=\mathbb{E}\left[\sum _{i=1}^d{q}_i{k}_i\right]=\sum _{i=1}^d\mathbb{E}[q_i{k}_i]$$

因为 $q_i$ 和 $k_i$ 独立且均值为 0，所以 $\mathbb{E}[q_i{k}_i]=\mathbb{E}[q_i]\cdot \mathbb{E}[k_i]=0\times 0=0$ 。
最终得出 $\mathbb{E}[Q\cdot K]=0$ 。

2. 证明方差为 $d$

根据方差的定义：

$$Var(Q\cdot K)=\mathbb{E}[(Q\cdot K{)}^2]-(\mathbb{E}[Q\cdot K]{)}^2$$

因为期望为 0，后一项消去，只需计算平方的期望 $\mathbb{E}[(Q\cdot K{)}^2]$ 。我们将平方项展开 ：

$${\left(\sum _{i=1}^d{q}_i{k}_i\right)}^2=\sum _{i=1}^d(q_i{k}_i{)}^2+\sum _{i\ne j}{q}_i{k}_i{q}_j{k}_j$$

然后分别求期望 ：

• 平方项： ${\sum }_{i=1}^d\mathbb{E}[q_i^2{k}_i^2]={\sum }_{i=1}^d\mathbb{E}[q_i^2]\cdot \mathbb{E}[k_i^2]$ 。因为方差为 1 且均值为 0，所以 $\mathbb{E}[q_i^2]=1$。每一项都是 $1\times 1=1$，求和后为 $d$ 。

• 交叉项： ${\sum }_{i\ne j}\mathbb{E}[q_i{k}_i{q}_j{k}_j]={\sum }_{i\ne j}\mathbb{E}[q_i{q}_j]\cdot \mathbb{E}[k_i{k}_j]$ 。由于变量相互独立且均值为 0，$\mathbb{E}[q_i{q}_j]=0\times 0=0$，所以所有交叉项的期望均为 0 。

因此，方差为：

$$Var(Q\cdot K)=d+0-0=d$$

四、 总结：为什么要除以 $\sqrt{d}$？

因为点积后的方差变成了 $d$，为了让方差重新回到 1（保持数据的稳定分布），我们根据统计学中方差的性质 $Var(cX)=c^{2}Var(X)$，需要给原本的变量乘以 $\frac{1}{\sqrt{d}}$。

💡 面试终极一句话总结 (Cheat Sheet)：
“点积操作会将输入特征的方差放大 $d$ 倍 ；如果不进行缩放，数值过大会导致 Softmax 陷入饱和区，引发梯度消失 。除以 $\sqrt{d}$ 是为了将点积结果的方差强行拉回 1，保证 Softmax 输入处于合理区间，从而保障反向传播时梯度的稳定 。”

print('hello world')