这份深度学习与神经网络的知识点汇总,涵盖了从基础感知机到先进生成模型的核心架构、训练优化及工程实践。
一、 神经网络基础 (Foundations)
1. 神经元模型
- M-P神经元:接收输入、加权求和、与阈值比较、通过激活函数输出。
- 感知机 (Perceptron):两层神经元,只能解决线性可分问题(如逻辑与、或、非)。
2. 激活函数 (Activation Functions)
- Sigmoid: 将输入压缩至
(
0
,
1
)
(0, 1)
(0,1)。容易出现梯度消失。 - Tanh: 均值为0,输出范围
(
−
1
,
1
)
(-1, 1)
(−1,1)。 - ReLU (Rectified Linear Unit):
f
(
x
)
=
max
(
0
,
x
)
f(x) = \\max(0, x)
f(x)=max(0,x)。计算快,缓解梯度消失。 - Leaky ReLU / PReLU:解决 ReLU 的“神经元死亡”问题。
- Softmax:用于多分类任务,将输出转化为概率分布。
3. 网络结构
- 多层感知机 (MLP):包含输入层、隐藏层(一层或多层)和输出层。
- 前向传播 (Forward Propagation):信号从输入向输出逐层传递。
- 反向传播 (Backpropagation, BP):基于链式法则计算损失函数对每个权重的偏导数。
二、 卷积神经网络 (CNN) —— 视觉计算核心
1. 核心操作
- 卷积层 (Convolutional Layer):局部感受野、权值共享。通过卷积核提取特征。
- 池化层 (Pooling Layer):最大池化 (Max Pooling) 或平均池化,用于降维、保持平移不变性。
- 填充 (Padding) 与 步长 (Stride):控制输出特征图的大小。
2. 经典架构
- LeNet-5:手写数字识别开山之作。
- AlexNet:深度学习爆发点,引入了 ReLU 和 Dropout。
- VGG:使用小尺寸卷积核 (
3
×
3
3 \\times 3
3×3) 堆叠,探索深度对性能的影响。 - ResNet (残差网络):引入快捷连接 (Shortcut Connection),解决深层网络的退化问题。
- DenseNet (稠密连接):加强特征重用。
- EfficientNet:通过模型缩放 (Scaling) 同时平衡深度、宽度和分辨率。
三、 循环神经网络 (RNN) —— 序列数据处理
1. 基本结构
- RNN:具有循环连接,利用隐藏状态 (Hidden State) 存储历史信息。
- 局限性:长序列训练时存在梯度消失和梯度爆炸。
2. 长短期记忆网络 (LSTM) 与 GRU
- LSTM 门控机制:
- 遗忘门:决定丢弃多少旧信息。
- 输入门:决定存储多少新信息。
- 输出门:决定输出什么信息。
- GRU (Gated Recurrent Unit):将门控简化为更新门和重置门,计算更高效。
四、 Transformer 与 注意力机制
1. 注意力机制 (Attention)
- 核心公式:
A
t
t
e
n
t
i
o
n
(
Q
,
K
,
V
)
=
s
o
f
t
m
a
x
(
Q
K
T
d
k
)
V
Attention(Q, K, V) = softmax(\\frac{QK^T}{\\sqrt{d_k}})V
Attention(Q,K,V)=softmax(dkQKT)V。 - 自注意力 (Self-Attention):捕捉序列内部的全局依赖关系。
2. Transformer 架构
- Encoder-Decoder 结构:编码器提取特征,解码器生成序列。
- 多头注意力 (Multi-head Attention):在不同子空间学习信息。
- 位置编码 (Positional Encoding):由于没有循环结构,需显式加入位置信息。
五、 深度学习训练与优化 (Optimization)
1. 损失函数 (Loss Functions)
- 均方误差 (MSE):常用于回归。
- 交叉熵损失 (Cross-Entropy):常用于分类,衡量概率分布差异。
2. 优化算法 (Optimizers)
- SGD (随机梯度下降):基础更新方法。
- Momentum (动量法):引入惯性,加速收敛并越过局部极小点。
- Adam (Adaptive Moment Estimation):结合动量与自适应学习率,是目前最通用的算法。
3. 正则化与防过拟合
- L1 / L2 正则化 (权重衰减)。
- Dropout:训练时随机“关闭”神经元。
- Batch Normalization (批标准化):加速训练,提高稳定性。
六、 生成模型与进阶领域
- GAN (生成对抗网络):由生成器 (Generator) 和判别器 (Discriminator) 组成,通过博弈生成逼真数据。
- VAE (变分自编码器):基于概率图模型的生成算法。
- Diffusion Models (扩散模型):通过加噪与去噪过程生成高质量图像(如 Stable Diffusion)。
- 迁移学习 (Transfer Learning):利用预训练模型在小样本任务上取得好效果。
七、 性能评估指标 (Summary)
| Top-1 / Top-5 Accuracy | 图像分类 | 模型预测概率最高(前五)中是否包含正确类 |
| mAP (Mean Average Precision) | 目标检测 | 衡量物体定位与分类的综合性能 |
| BLEU / ROUGE | 自然语言处理 | 衡量文本生成的质量 |
| IoU (交并比) | 语义分割 | 衡量预测区域与真实区域的重合度 |
建议重点复盘 ResNet 的残差结构、Transformer 的自注意力计算以及 Batch Norm 的原理。



