欢迎光临
我们一直在努力

深度学习篇---Transformer解码器

Transformer解码器详解

1. 什么是解码器?

解码器(Decoder)是Transformer模型中负责生成目标序列的组件。它接收编码器提取的源语言特征,逐步生成目标语言输出。可以把它想象成一个智能写作助手——理解了输入内容后,开始逐词写出回答。

生活类比:就像同声传译员,先听懂源语言(编码器工作),然后用目标语言表达出来(解码器工作)。表达时不是一次性说完,而是逐词逐句地组织语言。

2. 解码器的核心架构

解码器由多个相同的层堆叠而成,每层包含三个关键子层:

2.1 掩码多头自注意力层
  • 作用:理解已生成的内容

  • 特点:使用因果掩码,防止看到未来信息

  • 通俗理解:写下一句话前,回顾已经写了什么

2.2 编码器-解码器注意力层
  • 作用:关注源语言的相关部分

  • 特点:查询来自解码器,键值来自编码器

  • 通俗理解:写每个词时,都回头看看原文对应部分

2.3 前馈神经网络层
  • 作用:对信息进行非线性变换

  • 特点:每个位置独立处理

  • 通俗理解:深度思考当前词应该怎么表达

3. 解码器的工作流程

3.1 训练阶段(并行)

# 训练时可以并行,因为知道完整的目标序列
输入: <sos> I love China
目标: I love China <eos>

# 通过因果掩码保证只看历史
第1步: 只看<sos> → 预测"I"
第2步: 看<sos>,I → 预测"love"
第3步: 看<sos>,I,love → 预测"China"
第4步: 看全部 → 预测<eos>

3.2 推理阶段(串行)

# 推理时必须逐步生成
第1步: [<sos>] → 生成"I"
第2步: [<sos>, I] → 生成"love"
第3步: [<sos>, I, love] → 生成"China"
第4步: [<sos>, I, love, China] → 生成<eos>

4. 解码器的详细组成

4.1 输入部分

# 1. 输出嵌入
token_embedding = embed(target_tokens) # 将词转为向量

# 2. 位置编码
position_encoding = positional_encoding(positions) # 添加位置信息

# 3. 组合输入
decoder_input = token_embedding + position_encoding

4.2 掩码多头自注意力

# 因果掩码防止看到未来
causal_mask = create_causal_mask(seq_len)

# 自注意力计算
self_attention_output = multihead_attention(
query=decoder_input,
key=decoder_input,
value=decoder_input,
mask=causal_mask
)

# 残差连接+层归一化
self_attention_output = layernorm(decoder_input + self_attention_output)

4.3 编码器-解码器注意力

# 交叉注意力:连接编码器和解码器
cross_attention_output = multihead_attention(
query=self_attention_output, # 来自解码器
key=encoder_output, # 来自编码器
value=encoder_output, # 来自编码器
mask=padding_mask # 忽略填充位
)

# 残差连接+层归一化
cross_attention_output = layernorm(self_attention_output + cross_attention_output)

4.4 前馈神经网络

# 非线性变换
ffn_output = feed_forward(cross_attention_output)

# 残差连接+层归一化
decoder_output = layernorm(cross_attention_output + ffn_output)

5. Mermaid总结框图

6. 解码器的关键机制详解

6.1 因果掩码(Causal Mask)

# 上三角矩阵,对角线及以下为1,以上为0
causal_mask = [
[1, 0, 0, 0], # 位置1只能看自己
[1, 1, 0, 0], # 位置2能看1,2
[1, 1, 1, 0], # 位置3能看1,2,3
[1, 1, 1, 1] # 位置4能看全部
]

6.2 交叉注意力(Cross Attention)

# 让解码器关注源语言的相关部分
attention_weights = softmax(Q_decoder @ K_encoder.T / √d)
context = attention_weights @ V_encoder

6.3 残差连接(Residual Connection)

# 防止梯度消失,让信息直接流动
output = layer_norm(input + sublayer(input))

7. 解码器 vs 编码器

维度编码器解码器
输入 源语言序列 目标语言序列(已生成部分)
注意力 双向自注意力 掩码自注意力 + 交叉注意力
掩码 仅填充掩码 因果掩码 + 填充掩码
输出 源语言特征 目标语言概率分布
工作方式 并行计算 训练并行,推理串行

8. 实际应用示例

8.1 机器翻译

编码器输入: "I love China"
解码器生成:
第1步: <sos> → "我"
第2步: <sos>我 → "爱"
第3步: <sos>我爱 → "中国"
第4步: <sos>我爱你 → <eos>

8.2 文本摘要

编码器输入: "Transformer是一种基于自注意力的架构…"
解码器生成:
第1步: <sos> → "Transformer"
第2步: <sos>Transformer → "使用"
第3步: <sos>Transformer使用 → "自注意力"
…

9. 解码器的训练技巧

9.1 Teacher Forcing

# 训练时使用真实目标词作为输入
# 而不是使用模型自己生成的词
train_input = target_sequence[:-1] # <sos>我爱你
train_target = target_sequence[1:] # 我爱你<eos>

9.2 Scheduled Sampling

# 逐渐从使用真实词过渡到使用生成词
if random() < schedule(step):
decoder_input = ground_truth # 用真实词
else:
decoder_input = model_prediction # 用生成词

10. 通俗理解总结

把解码器想象成"写作机器人":

  • 输入层:拿到写作任务的开头(<sos>)

  • 掩码自注意力:回顾已经写的内容,保证前后连贯

  • 交叉注意力:随时查阅参考资料(编码器输出)

  • 前馈网络:深度思考每个词怎么表达

  • 输出层:决定下一个词是什么

写作过程:

解码器的三大能力:

  • 理解上下文:通过掩码自注意力,理解已生成内容的语境

  • 对齐源语言:通过交叉注意力,准确翻译或摘要

  • 生成流畅文本:通过多层堆叠,学会自然语言的规律

  • 解码器是Transformer生成能力的核心,它的设计巧妙地将自回归生成、注意力机制和深度网络结合起来,使得模型能够生成高质量的序列输出。从机器翻译到对话系统,从文本摘要到代码生成,解码器都在发挥着关键作用。

    赞(0)
    未经允许不得转载:171主机测评 » 深度学习篇---Transformer解码器
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址