交叉熵的理解以及和 KL散度对比

1. 信息量

• 定义：$I(x)=-\log P(x)$
• 概率越小，信息量越大；取负号是因为 $\log P(x)<0$
• 例：$P=0.5\Rightarrow I=-{\log }_{2}0.5=1$ bit

2. 熵 (Entropy)

• 定义：$H(P)=-{\sum }_i{p}_i\log p_i$ = 平均信息量
• $P=(1,0)\Rightarrow H=0$（无不确定性）
• 最大值：$H(X)\le \log n$，当 $P_i=1/n$（均匀分布）取等
• 熵越大 ⇒ 不确定性越高

3. 交叉熵 (Cross Entropy)

• 定义：$H(P,Q)=-{\sum }_{x}P(x)\log Q(x)$
• 含义：用 Q 编码 P 的平均信息量；$Q=P$ 时取最小值 $H(P)$
• 分类任务中简化为：$\text{Loss}=-\log P(\text{正确类别})$
• 例：正确类预测 0.8 → $L=-\log 0.8\approx 0.223$；预测 0.1 → $L\approx 2.302$

4. LLM 训练中的交叉熵

• 形式：$L=-\log P(\text{正确 token})$
• 特性：奖励高置信度正确，严厉惩罚高置信度错误

通俗理解（考试打赌的比喻）：把模型看作考生，每道题它给每个选项下注（总注金额 = 1）。规则：正确选项押得越多赢得越多（loss 小），押得越少输得越惨（loss 大），并且 赢的奖励有限，输的惩罚无限。（A 是正确答案）

这样设计的好处：

通俗理解： “答对了，给点甜头；答错了，看你多自信，越自信打得越狠。”

示例：输入 北京是中国的 ___，正确 token = 首都

• 对比 ① 与 ④：同样是"高置信度"，正确时 loss=0.01，错误时 loss=4.605，相差 约 460 倍
• 这种非对称性来自 $-\log x$ 在 $x\to 0$ 时趋于无穷 → 模型不敢轻易"自信地犯错"

4.1 $-\log x$ 函数的形状

• $x\to 1$ 时 $-\log x\to 0$（几乎不惩罚）
• $x\to 0$ 时 $-\log x\to +\infty$（惩罚爆炸）
• 非对称：0.5 → 0.99 仅降 loss 0.68；0.5 → 0.01 却增 loss 3.91

4.2 四种场景的梯度分析（输入 北京是中国的 ___，正确答案 = 首都）

4.3 为什么这是"好"的特性

(1) 防止模型"信口开河" — 对比 MSE：

交叉熵让"自信地犯错"代价不可承受，模型学会"不确定时分散概率"。

(2) 梯度信号天然合理 — 对 softmax + 交叉熵组合：

$$\frac{\partial L}{\partial z_i}={\hat{y}}_i-y_i$$

即"预测概率 − 真实标签"：

• 预测对（${\hat{y}}_i\approx 1$，$y_i=1$）→ 梯度 ≈ 0，不再更新
• 预测错（${\hat{y}}_i\approx 0$，$y_i=1$）→ 梯度 ≈ -1，大力更新

效果：对的不动，错的猛改。

(3) 与最大似然等价

$$\min (-\log P(\text{正确}))\iff \max \text{Likelihood}\iff \min D_{KL}(P\Vert Q)$$

4.4 直观理解

$$\boxed{\text{交叉熵对"错误且自信"施加无界惩罚，对"正确且自信"几乎不惩罚，迫使模型只在确定时才自信}}$$

这种 指数级非对称惩罚 正是它成为分类与语言模型默认 loss 的根本原因。

5. KL 散度 (KL Divergence)

• 定义：$D_{KL}(P\Vert Q)={\sum }_{x}P(x)\log \frac{P(x)}{Q(x)}$
• 含义：衡量两个概率分布的差异（Q 距离 P 有多远）

5.1 三者核心关系

① 公式推导：由 KL 定义展开

$$D_{KL}(P\Vert Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}$$

利用 $\log \frac{a}{b}=\log a-\log b$ 拆成两项：

$$=\sum _{i}P(i)\log P(i)-\sum _{i}P(i)\log Q(i)$$

代入熵和交叉熵的定义：

• $H(P)=-{\sum }_{i}P(i)\log P(i)\Rightarrow {\sum }_{i}P(i)\log P(i)=-H(P)$
• $H(P,Q)=-{\sum }_{i}P(i)\log Q(i)\Rightarrow {\sum }_{i}P(i)\log Q(i)=-H(P,Q)$

得到：

$$D_{KL}(P\Vert Q)=-H(P)-(-H(P,Q))=-H(P)+H(P,Q)$$

移项即得核心关系：

$$\boxed{H(P,Q)=H(P)+D_{KL}(P\Vert Q)}$$

② 编码视角：

例（用 ${\log }_2$）：$P=(0.7,0.2,0.1)$，$Q=(0.5,0.3,0.2)$

$H(P)$ 计算：

$$H(P)=-[0.7{\log }_{2}0.7+0.2{\log }_{2}0.2+0.1{\log }_{2}0.1]$$

$$=0.7\times 0.515+0.2\times 2.322+0.1\times 3.322=0.360+0.464+0.332\approx 1.16\text{ bit}$$

$H(P,Q)$ 计算（权重用 $P$，对数里用 $Q$）：

$$H(P,Q)=-[0.7{\log }_{2}0.5+0.2{\log }_{2}0.3+0.1{\log }_{2}0.2]$$

$$=0.7\times 1.000+0.2\times 1.737+0.1\times 2.322=0.700+0.347+0.232\approx 1.28\text{ bit}$$

$D_{KL}$ 计算：

$$D_{KL}(P\Vert Q)=H(P,Q)-H(P)\approx 1.28-1.16=0.12\text{ bit}$$

$$\boxed{\text{Cross Entropy}=\underset{\text{真实分布的不确定性}}{H(P)}+\underset{\text{模型与真实分布的差距}}{D_{KL}(P\Vert Q)}}$$

• One-Hot：$H(P)=0$ → CE = KL
• 软分布：$H(P)>0$ → CE = KL + 常数，但 优化等价

5.2 知识蒸馏：KL 能学到 teacher 的"暗知识"

例：输入哈士奇图，teacher 输出 哈士奇:0.70 / 狼:0.20 / 萨摩耶:0.08 / 猫:0.001 / 卡车:0.0001

• One-Hot CE：学生只学到"是哈士奇"，其他错误类一视同仁
• KL 蒸馏：学生还学到"哈士奇像狼、像萨摩耶，但完全不像猫和卡车"—— 即 类别间的相似度结构（dark knowledge）