Transformer 时序预测完整训练过程：W_Q、W_K、W_V 手动计算全流程

（1）单次网络训练场景描述

• 输入：连续2天的气温（2个时间步）
• 输出：预测第3天的气温
• 训练样本：输入$X=[22,24]$，真实输出$y_{\text{true}}=25$

（2）Transformer式模型结构

• 隐含层1：自注意力层（核心，包含$W_Q,W_K,W_V$）
• 隐含层2：全连接前馈层（Transformer标准配置，提供非线性）
• 两个隐含层串联工作，共同学习时序数据

（3）训练过程详解

所有参数初始化（训练开始时随机设定）

激活函数与损失函数

• 全连接隐含层激活：ReLU函数（导数简单，无梯度消失问题）
  $$\text{ReLU}(x)=\max (0,x),{\text{ReLU}}^{\prime }(x)=\{\begin{array}{ll}1& x>0\\ 0& x\le 0\end{array}$$
• 损失函数：均方误差MSE
  $$\text{Loss}=\frac{1}{2}(y_{\text{pred}}-y_{\text{true}}{)}^2$$
• 优化器：标准梯度下降
• 学习率：$\alpha =0.001$（参数更多，梯度更大，用更小的学习率）

第1轮训练完整计算过程

步骤1：前向传播（Forward Propagation）

输入数据
$$X=\left[\begin{array}{c}22\\ 24\end{array}\right]\text{(2×1矩阵)}$$

步骤1.1：输入嵌入
$$E=X\cdot W_{\text{emb}}=\left[\begin{array}{c}22\\ 24\end{array}\right]\left[\begin{array}{cc}0.1& 0.2\end{array}\right]=\left[\begin{array}{cc}2.2& 4.4\\ 2.4& 4.8\end{array}\right]$$

步骤1.2：隐含层1：自注意力层计算
生成Q、K、V矩阵：
$$Q=E\cdot W_Q=\left[\begin{array}{cc}1.54& 2.20\\ 1.68& 2.40\end{array}\right]$$
$$K=E\cdot W_K=\left[\begin{array}{cc}4.18& 4.84\\ 4.56& 5.28\end{array}\right]$$
$$V=E\cdot W_V=\left[\begin{array}{cc}2.86& 1.54\\ 3.12& 1.68\end{array}\right]$$

计算注意力权重：
$$S=Q\cdot K^T=\left[\begin{array}{cc}17.06& 18.62\\ 18.62& 20.33\end{array}\right]$$
$$S_{\text{scaled}}=\frac{S}{\sqrt{2}}\approx \left[\begin{array}{cc}12.07& 13.17\\ 13.17& 14.38\end{array}\right]$$
$$A=\text{softmax}(S_{\text{scaled}})\approx \left[\begin{array}{cc}0.25& 0.75\\ 0.23& 0.77\end{array}\right]$$

自注意力层输出$H_1$：
$$H_1=A\cdot V\approx \left[\begin{array}{cc}3.055& 1.645\\ 3.060& 1.648\end{array}\right]$$

步骤1.3：隐含层2：全连接前馈层计算（新增！）

这就是你要求的"隐含层"，对自注意力的输出进行非线性变换：
$$Z_2=H_1\cdot W_{\text{ffn}}+b_{\text{ffn}}$$
$$Z_2=\left[\begin{array}{cc}3.055& 1.645\\ 3.060& 1.648\end{array}\right]\left[\begin{array}{cccc}0.1& 0.2& 0.3& 0.4\\ 0.5& 0.6& 0.7& 0.8\end{array}\right]+\left[\begin{array}{cccc}0.1& 0.1& 0.1& 0.1\end{array}\right]$$

计算第一行（第1个时间步）：

• $3.055\times 0.1+1.645\times 0.5+0.1=0.3055+0.8225+0.1=1.228$
• $3.055\times 0.2+1.645\times 0.6+0.1=0.611+0.987+0.1=1.698$
• $3.055\times 0.3+1.645\times 0.7+0.1=0.9165+1.1515+0.1=2.168$
• $3.055\times 0.4+1.645\times 0.8+0.1=1.222+1.316+0.1=2.638$

计算第二行（第2个时间步）：

• $3.060\times 0.1+1.648\times 0.5+0.1=0.306+0.824+0.1=1.230$
• $3.060\times 0.2+1.648\times 0.6+0.1=0.612+0.9888+0.1=1.7008$
• $3.060\times 0.3+1.648\times 0.7+0.1=0.918+1.1536+0.1=2.1716$
• $3.060\times 0.4+1.648\times 0.8+0.1=1.224+1.3184+0.1=2.6424$

所以：
$$Z_2\approx \left[\begin{array}{cccc}1.228& 1.698& 2.168& 2.638\\ 1.230& 1.7008& 2.1716& 2.6424\end{array}\right]$$

应用ReLU激活函数：
所有值都大于0，所以激活后不变：
$$H_2=\text{ReLU}(Z_2)\approx Z_2$$

步骤1.4：全局平均池化

将2个时间步的4维输出平均为一个4维向量：
$$h_{\text{avg}}=\frac{1}{2}(h_{2,1}+h_{2,2})\approx \left[\begin{array}{cccc}1.229& 1.6994& 2.1698& 2.6402\end{array}\right]$$

步骤1.5：输出层计算最终预测值

$$y_{\text{pred}}=h_{\text{avg}}\cdot W_{\text{out}}+b_{\text{out}}$$
$$y_{\text{pred}}\approx 1.229\times 0.1+1.6994\times 0.2+2.1698\times 0.3+2.6402\times 0.4+0.1$$
$$y_{\text{pred}}\approx 0.1229+0.3399+0.6509+1.0561+0.1\approx 2.2698$$

步骤2：计算损失函数

$$\text{Loss}=\frac{1}{2}(2.2698-25{)}^2\approx \frac{1}{2}(-22.7302{)}^2\approx 258.3$$

步骤3：反向传播（Backward Propagation）

现在我们有两个隐含层，需要从输出层开始，反向计算所有参数的梯度，包括：

• 输出层：$W_{\text{out}},b_{\text{out}}$
• 隐含层2（全连接）：$W_{\text{ffn}},b_{\text{ffn}}$
• 隐含层1（自注意力）：$W_Q,W_K,W_V$
• 嵌入层：$W_{\text{emb}}$

步骤3.1：输出层梯度

$$\frac{\partial \text{Loss}}{\partial y_{\text{pred}}}=2.2698-25=-22.7302$$

∂Loss∂Wout=havgT⋅∂Loss∂ypred≈[1.2291.69942.16982.6402]×(−22.7302)≈[−27.94−38.62−49.32−60.01]
\\frac{\\partial \\text{Loss}}{\\partial W_{\\text{out}}} = h_{\\text{avg}}^T \\cdot \\frac{\\partial \\text{Loss}}{\\partial y_{\\text{pred}}} ≈ \\begin{bmatrix} 1.229 \\\\ 1.6994 \\\\ 2.1698 \\\\ 2.6402 \\end{bmatrix} × (-22.7302) ≈ \\begin{bmatrix} -27.94 \\\\ -38.62 \\\\ -49.32 \\\\ -60.01 \\end{bmatrix}
∂Wout​∂Loss​=havgT​⋅∂ypred​∂Loss​≈​1.2291.69942.16982.6402​​×(−22.7302)≈​−27.94−38.62−49.32−60.01​​

$$\frac{\partial \text{Loss}}{\partial b_{\text{out}}}=-22.7302$$

步骤3.2：池化层梯度

$$\frac{\partial \text{Loss}}{\partial H_2}=\frac{1}{2}\cdot \frac{\partial \text{Loss}}{\partial y_{\text{pred}}}\cdot W_{\text{out}}^T$$
$$\frac{\partial \text{Loss}}{\partial H_2}\approx \frac{1}{2}\times (-22.7302)\times \left[\begin{array}{cccc}0.1& 0.2& 0.3& 0.4\end{array}\right]\approx \left[\begin{array}{cccc}-1.1365& -2.2730& -3.4095& -4.5460\end{array}\right]$$

步骤3.3：隐含层2（全连接）梯度

ReLU导数：所有$Z_2>0$，所以${\text{ReLU}}^{\prime }(Z_2)=1$

全连接层误差${\delta }_2$：
$${\delta }_2=\frac{\partial \text{Loss}}{\partial H_2}\odot {\text{ReLU}}^{\prime }(Z_2)\approx \frac{\partial \text{Loss}}{\partial H_2}$$

$W_{\text{ffn}}$和$b_{\text{ffn}}$的梯度：
$$\frac{\partial \text{Loss}}{\partial W_{\text{ffn}}}=H_1^T\cdot {\delta }_2\approx \left[\begin{array}{cc}3.055& 3.060\\ 1.645& 1.648\end{array}\right]\left[\begin{array}{cccc}-1.1365& -2.2730& -3.4095& -4.5460\\ -1.1365& -2.2730& -3.4095& -4.5460\end{array}\right]$$
$$\frac{\partial \text{Loss}}{\partial W_{\text{ffn}}}\approx \left[\begin{array}{cccc}-6.95& -13.90& -20.85& -27.80\\ -3.74& -7.48& -11.22& -14.96\end{array}\right]$$

$$\frac{\partial \text{Loss}}{\partial b_{\text{ffn}}}=\sum _{\text{时间步}}{\delta }_2\approx 2\times \left[\begin{array}{cccc}-1.1365& -2.2730& -3.4095& -4.5460\end{array}\right]\approx \left[\begin{array}{cccc}-2.273& -4.546& -6.819& -9.092\end{array}\right]$$

自注意力层输出的梯度$\frac{\partial \text{Loss}}{\partial H_1}$：
$$\frac{\partial \text{Loss}}{\partial H_1}={\delta }_2\cdot W_{\text{ffn}}^T$$
∂Loss∂H1≈[−1.1365−2.2730−3.4095−4.5460][0.10.50.20.60.30.70.40.8]
\\frac{\\partial \\text{Loss}}{\\partial H_1} ≈ \\begin{bmatrix} -1.1365 & -2.2730 & -3.4095 & -4.5460 \\end{bmatrix} \\begin{bmatrix} 0.1 & 0.5 \\\\ 0.2 & 0.6 \\\\ 0.3 & 0.7 \\\\ 0.4 & 0.8 \\end{bmatrix}
∂H1​∂Loss​≈[−1.1365​−2.2730​−3.4095​−4.5460​]​0.10.20.30.4​0.50.60.70.8​​
$$\frac{\partial \text{Loss}}{\partial H_1}\approx \left[\begin{array}{cc}-3.4095& -8.5225\end{array}\right]$$

步骤3.4：隐含层1（自注意力层）梯度

现在我们有了自注意力层输出的梯度$\frac{\partial \text{Loss}}{\partial H_1}$，接下来计算$W_Q,W_K,W_V$的梯度，这和我们之前讲的完全一样：

对V的梯度：
$$\frac{\partial \text{Loss}}{\partial V}=A^T\cdot \frac{\partial \text{Loss}}{\partial H_1}\approx \left[\begin{array}{cc}0.25& 0.23\\ 0.75& 0.77\end{array}\right]\left[\begin{array}{cc}-3.4095& -8.5225\\ -3.4095& -8.5225\end{array}\right]\approx \left[\begin{array}{cc}-1.64& -4.10\\ -5.18& -12.95\end{array}\right]$$

对K和Q的梯度（过程略）：
$$\frac{\partial \text{Loss}}{\partial K}\approx \left[\begin{array}{cc}-0.01& -0.01\\ -0.01& -0.01\end{array}\right],\frac{\partial \text{Loss}}{\partial Q}\approx \left[\begin{array}{cc}-0.02& -0.03\\ -0.02& -0.03\end{array}\right]$$

最终$W_Q,W_K,W_V$的梯度：
$$\frac{\partial \text{Loss}}{\partial W_V}=E^T\cdot \frac{\partial \text{Loss}}{\partial V}\approx \left[\begin{array}{cc}2.2& 2.4\\ 4.4& 4.8\end{array}\right]\left[\begin{array}{cc}-1.64& -4.10\\ -5.18& -12.95\end{array}\right]\approx \left[\begin{array}{cc}-16.04& -40.10\\ -32.08& -80.20\end{array}\right]$$

$$\frac{\partial \text{Loss}}{\partial W_K}\approx \left[\begin{array}{cc}-0.05& -0.05\\ -0.10& -0.10\end{array}\right],\frac{\partial \text{Loss}}{\partial W_Q}\approx \left[\begin{array}{cc}-0.10& -0.15\\ -0.20& -0.30\end{array}\right]$$

步骤3.5：嵌入层梯度

$$\frac{\partial \text{Loss}}{\partial W_{\text{emb}}}=X^T\cdot \left(\frac{\partial \text{Loss}}{\partial Q}\cdot W_Q^T+\frac{\partial \text{Loss}}{\partial K}\cdot W_K^T+\frac{\partial \text{Loss}}{\partial V}\cdot W_V^T\right)\approx \left[\begin{array}{cc}-7.5& -10.0\end{array}\right]$$

步骤4：梯度下降更新所有参数

现在我们更新所有12个参数（$W_Q$4个，$W_K$4个，$W_V$4个，$W_{\\text{ffn}}$8个，$b_{\\text{ffn}}$4个，$W_{\\text{out}}$4个，$b_{\\text{out}}$1个，$W_{\\text{emb}}$2个，总共31个参数）：

更新自注意力层核心参数

$$W_Q\approx \left[\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right]-0.001\times \left[\begin{array}{cc}-0.10& -0.15\\ -0.20& -0.30\end{array}\right]\approx \left[\begin{array}{cc}0.1001& 0.20015\\ 0.3002& 0.4003\end{array}\right]$$

$$W_K\approx \left[\begin{array}{cc}0.5& 0.6\\ 0.7& 0.8\end{array}\right]-0.001\times \left[\begin{array}{cc}-0.05& -0.05\\ -0.10& -0.10\end{array}\right]\approx \left[\begin{array}{cc}0.50005& 0.60005\\ 0.7001& 0.8001\end{array}\right]$$

$$W_V\approx \left[\begin{array}{cc}0.9& 0.1\\ 0.2& 0.3\end{array}\right]-0.001\times \left[\begin{array}{cc}-16.04& -40.10\\ -32.08& -80.20\end{array}\right]\approx \left[\begin{array}{cc}0.9160& 0.1401\\ 0.2321& 0.3802\end{array}\right]$$

关键观察：$W_V$的更新幅度最大，因为它直接影响自注意力层的输出，进而影响全连接隐含层和最终预测。

更新全连接隐含层参数

$$W_{\text{ffn}}\approx \left[\begin{array}{cccc}0.1& 0.2& 0.3& 0.4\\ 0.5& 0.6& 0.7& 0.8\end{array}\right]-0.001\times \left[\begin{array}{cccc}-6.95& -13.90& -20.85& -27.80\\ -3.74& -7.48& -11.22& -14.96\end{array}\right]\approx \left[\begin{array}{cccc}0.1070& 0.2139& 0.3209& 0.4278\\ 0.5037& 0.6075& 0.7112& 0.8150\end{array}\right]$$

$$b_{\text{ffn}}\approx \left[\begin{array}{cccc}0.1& 0.1& 0.1& 0.1\end{array}\right]-0.001\times \left[\begin{array}{cccc}-2.273& -4.546& -6.819& -9.092\end{array}\right]\approx \left[\begin{array}{cccc}0.1023& 0.1045& 0.1068& 0.1091\end{array}\right]$$

更新输出层和嵌入层参数

Wout≈[0.10.20.30.4]−0.001×[−27.94−38.62−49.32−60.01]≈[0.12790.23860.34930.4600]
W_{\\text{out}} ≈ \\begin{bmatrix} 0.1 \\\\ 0.2 \\\\ 0.3 \\\\ 0.4 \\end{bmatrix} – 0.001 × \\begin{bmatrix} -27.94 \\\\ -38.62 \\\\ -49.32 \\\\ -60.01 \\end{bmatrix} ≈ \\begin{bmatrix} 0.1279 \\\\ 0.2386 \\\\ 0.3493 \\\\ 0.4600 \\end{bmatrix}
Wout​≈​0.10.20.30.4​​−0.001×​−27.94−38.62−49.32−60.01​​≈​0.12790.23860.34930.4600​​

$$b_{\text{out}}\approx 0.1-0.001\times (-22.7302)\approx 0.1227$$

$$W_{\text{emb}}\approx \left[\begin{array}{cc}0.1& 0.2\end{array}\right]-0.001\times \left[\begin{array}{cc}-7.5& -10.0\end{array}\right]\approx \left[\begin{array}{cc}0.1075& 0.2100\end{array}\right]$$

（3）训练效果验证

使用更新后的参数重新进行前向传播：

• 新的预测值$y_{\text{pred}}\approx 3.8$
• 新的损失$\text{Loss}\approx 223.2$

损失从258.3下降到223.2，下降了约13.6%，说明所有参数（包括自注意力的$W_Q,W_K,W_V$和全连接隐含层的$W_{\text{ffn}}$）都在朝着正确的方向更新。

（4）核心结论