1. 核心架构：Encoder-Decoder 结构
Transformer 丢弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全基于注意力机制（Attention Mechanism）。它主要由两部分组成：
-
Encoder（编码器）：负责理解输入。它将输入序列转换为连续的特征表示（向量）。
-
Decoder（解码器）：负责生成输出。它利用编码器的信息以及之前生成的词来预测下一个词。
2. 关键组件详解
A. 自注意力机制 (Self-Attention)
这是 Transformer 的灵魂。它允许模型在处理一个词时，同时“看向”句子中的其他词，以捕捉上下文。
对于每个输入的向量，模型会生成三个不同的向量：
Query ($Q$): “我想找什么？”
Key ($K$): “我能提供什么？”
Value ($V$): “我实际包含的信息。”
计算公式如下：
$$Attention(Q, K, V) = softmax(\\frac{QK^T}{\\sqrt{d_k}})V$$
-
缩放因子 $\\sqrt{d_k}$: 防止点积过大导致梯度消失。
-
Softmax: 将权重归一化，决定每个词对当前词的重要性。
B. 多头注意力 (Multi-Head Attention)
模型并不仅仅运行一组 $Q, K, V$，而是并行运行多组（“头”）。
