Transformer解码器详解
1. 什么是解码器?
解码器(Decoder)是Transformer模型中负责生成目标序列的组件。它接收编码器提取的源语言特征,逐步生成目标语言输出。可以把它想象成一个智能写作助手——理解了输入内容后,开始逐词写出回答。
生活类比:就像同声传译员,先听懂源语言(编码器工作),然后用目标语言表达出来(解码器工作)。表达时不是一次性说完,而是逐词逐句地组织语言。
2. 解码器的核心架构
解码器由多个相同的层堆叠而成,每层包含三个关键子层:
2.1 掩码多头自注意力层
-
作用:理解已生成的内容
-
特点:使用因果掩码,防止看到未来信息
-
通俗理解:写下一句话前,回顾已经写了什么
2.2 编码器-解码器注意力层
-
作用:关注源语言的相关部分
-
特点:查询来自解码器,键值来自编码器
-
通俗理解:写每个词时,都回头看看原文对应部分
2.3 前馈神经网络层
-
作用:对信息进行非线性变换
-
特点:每个位置独立处理
-
通俗理解:深度思考当前词应该怎么表达
3. 解码器的工作流程
3.1 训练阶段(并行)
# 训练时可以并行,因为知道完整的目标序列
输入: <sos> I love China
目标: I love China <eos>
# 通过因果掩码保证只看历史
第1步: 只看<sos> → 预测"I"
第2步: 看<sos>,I → 预测"love"
第3步: 看<sos>,I,love → 预测"China"
第4步: 看全部 → 预测<eos>
3.2 推理阶段(串行)
# 推理时必须逐步生成
第1步: [<sos>] → 生成"I"
第2步: [<sos>, I] → 生成"love"
第3步: [<sos>, I, love] → 生成"China"
第4步: [<sos>, I, love, China] → 生成<eos>
4. 解码器的详细组成
4.1 输入部分
# 1. 输出嵌入
token_embedding = embed(target_tokens) # 将词转为向量
# 2. 位置编码
position_encoding = positional_encoding(positions) # 添加位置信息
# 3. 组合输入
decoder_input = token_embedding + position_encoding
4.2 掩码多头自注意力
# 因果掩码防止看到未来
causal_mask = create_causal_mask(seq_len)
# 自注意力计算
self_attention_output = multihead_attention(
query=decoder_input,
key=decoder_input,
value=decoder_input,
mask=causal_mask
)
# 残差连接+层归一化
self_attention_output = layernorm(decoder_input + self_attention_output)
4.3 编码器-解码器注意力
# 交叉注意力:连接编码器和解码器
cross_attention_output = multihead_attention(
query=self_attention_output, # 来自解码器
key=encoder_output, # 来自编码器
value=encoder_output, # 来自编码器
mask=padding_mask # 忽略填充位
)
# 残差连接+层归一化
cross_attention_output = layernorm(self_attention_output + cross_attention_output)
4.4 前馈神经网络
# 非线性变换
ffn_output = feed_forward(cross_attention_output)
# 残差连接+层归一化
decoder_output = layernorm(cross_attention_output + ffn_output)
5. Mermaid总结框图

6. 解码器的关键机制详解
6.1 因果掩码(Causal Mask)
# 上三角矩阵,对角线及以下为1,以上为0
causal_mask = [
[1, 0, 0, 0], # 位置1只能看自己
[1, 1, 0, 0], # 位置2能看1,2
[1, 1, 1, 0], # 位置3能看1,2,3
[1, 1, 1, 1] # 位置4能看全部
]
6.2 交叉注意力(Cross Attention)
# 让解码器关注源语言的相关部分
attention_weights = softmax(Q_decoder @ K_encoder.T / √d)
context = attention_weights @ V_encoder
6.3 残差连接(Residual Connection)
# 防止梯度消失,让信息直接流动
output = layer_norm(input + sublayer(input))
7. 解码器 vs 编码器
| 输入 | 源语言序列 | 目标语言序列(已生成部分) |
| 注意力 | 双向自注意力 | 掩码自注意力 + 交叉注意力 |
| 掩码 | 仅填充掩码 | 因果掩码 + 填充掩码 |
| 输出 | 源语言特征 | 目标语言概率分布 |
| 工作方式 | 并行计算 | 训练并行,推理串行 |
8. 实际应用示例
8.1 机器翻译
编码器输入: "I love China"
解码器生成:
第1步: <sos> → "我"
第2步: <sos>我 → "爱"
第3步: <sos>我爱 → "中国"
第4步: <sos>我爱你 → <eos>
8.2 文本摘要
编码器输入: "Transformer是一种基于自注意力的架构…"
解码器生成:
第1步: <sos> → "Transformer"
第2步: <sos>Transformer → "使用"
第3步: <sos>Transformer使用 → "自注意力"
…
9. 解码器的训练技巧
9.1 Teacher Forcing
# 训练时使用真实目标词作为输入
# 而不是使用模型自己生成的词
train_input = target_sequence[:-1] # <sos>我爱你
train_target = target_sequence[1:] # 我爱你<eos>
9.2 Scheduled Sampling
# 逐渐从使用真实词过渡到使用生成词
if random() < schedule(step):
decoder_input = ground_truth # 用真实词
else:
decoder_input = model_prediction # 用生成词
10. 通俗理解总结
把解码器想象成"写作机器人":
-
输入层:拿到写作任务的开头(<sos>)
-
掩码自注意力:回顾已经写的内容,保证前后连贯
-
交叉注意力:随时查阅参考资料(编码器输出)
-
前馈网络:深度思考每个词怎么表达
-
输出层:决定下一个词是什么
写作过程:

解码器的三大能力:
理解上下文:通过掩码自注意力,理解已生成内容的语境
对齐源语言:通过交叉注意力,准确翻译或摘要
生成流畅文本:通过多层堆叠,学会自然语言的规律
解码器是Transformer生成能力的核心,它的设计巧妙地将自回归生成、注意力机制和深度网络结合起来,使得模型能够生成高质量的序列输出。从机器翻译到对话系统,从文本摘要到代码生成,解码器都在发挥着关键作用。



![P11246 [GESP202409 六级] 小杨和整数拆分-171主机测评](https://www.171host.com/wp-content/uploads/2026/11/20261108100631-6af049a75855c-220x150.png)