从神经元到BP反向传播，零基础吃透神经网络底层原理

一、前言：AI、机器学习与深度学习的从属关系

深度学习（DL）隶属于机器学习（ML），机器学习又是人工智能（AI）落地实现的重要分支，三者是包含关系：人工智能>机器学习>深度学习。

• 人工智能：目标是让机器模拟人类思考、感知、决策；
• 机器学习：不用硬编码规则，让机器从数据中自动学习规律；
• 深度学习：基于多层人工神经网络的机器学习分支，模仿人脑神经元结构，也是当前大模型（ChatGPT等）底层核心技术（ChatGPT依托百亿级参数深度神经网络训练）。

图1：AI-机器学习-深度学习层级关系图

人类大脑依靠亿万个生物神经元传递神经冲动完成信息处理，人工神经网络就是模仿生物神经元结构诞生，下文从单个神经元开始逐层拆解。

二、基础单元：人工神经元（MP神经元）与激活函数

2.1 单个神经元数学由来

线性方程：$y=kx+b$，拓展至多特征：$w_1{x}_1+w_2{x}_2+b=0$，把偏置$b$改写为$w_3\times 1$，公式统一：
$$z=w_1{x}_1+w_2{x}_2+w_3\times 1=\sum _{i=1}^n{w}_i{x}_i$$

• $x_1,x_2\dots x_n$：输入特征；
• $w_1,w_2\dots w_n$：权重（模型待训练参数，相当于神经元突触连接强度）；
• 常数1：偏置项（b），固定为1，用于平移线性函数、提升模型拟合能力。

图2：单个神经元结构示意图

2.2 激活函数Sigmoid：引入非线性

单纯加权求和$z=\sum w_i{x}_i$仍是线性运算，无法拟合非线性数据；因此神经元输出必须接入非线性激活函数Sigmoid：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
Sigmoid可以把任意实数映射到$[0,1]$区间，完成数值归一化，是早期神经网络最常用激活函数。

核心结论：权重做线性加权 + 激活函数做非线性变换 = 完整人工神经元。

三、单层网络：感知器（Perceptron）原理与局限

3.1 感知器结构

由输入层+输出层两层神经元组成，无中间隐藏层，是最原始神经网络：
$$z=g(W\cdot X)$$
矩阵形式：输入向量$X$ × 权重矩阵$W$ → 加权和$z$ → 激活$g()$得到输出。

图3：单层感知器结构图（输入3节点+输出2节点）

。

3.2 感知器致命缺陷

仅能实现线性分类，无法处理异或（XOR）等非线性数据。想要解决非线性分类，必须新增隐藏层，也就是多层感知器（MLP）。

四、进阶网络：多层感知器MLP（含隐藏层+偏置节点）

4.1 引入隐藏层实现非线性拟合

在输入、输出层中间新增隐藏层（隐含层），是神经网络实现非线性分类的关键：

图4：三层MLP结构图（输入-隐藏-输出+偏置节点标注）

4.2 神经网络节点数设计经验（必记3条）

一句话总结：隐藏层+激活函数 = 神经网络万能拟合能力的来源。

五、神经网络训练核心1：损失函数（衡量预测误差）

5.1 训练目标

随机初始化权重$W$，前向传播得到预测值$y_{pred}$，用损失函数Loss计算预测值和真实标签$y_{true}$的差距，损失越小代表模型越准，训练本质就是不断优化权重最小化Loss。

常用损失：0-1损失、均方误差MSE、平均绝对误差MAE、交叉熵CrossEntropy（分类首选）、合页损失。

5.2 多分类任务：交叉熵损失详解

多分类场景先用Softmax把网络输出转为0~1概率（所有类别概率和=1），再用负对数交叉熵：
$$Loss=-\sum _{c=1}^M{y}_{ic}\cdot log(p_{ic})$$

• $y_{ic}$：真实标签独热编码（正确类别=1，其余=0）；
• $p_{ic}$：模型预测样本属于类别c的概率。

图5：Softmax+交叉熵计算流程图（猫/狗/鸟三分类示例）

。

为什么用负对数（-log）？

• 模型预测正确类别概率越大，$-log(p)$数值越小（损失小）；
• 预测概率趋近0时，$-log(p)$急剧变大（严厉惩罚错误分类），优化导向更精准。

六、神经网络训练核心2：正则化（解决过拟合）

6.1 过拟合现象举例

权重$w_1=[1,0,0,0]$只依赖第一个特征，极易死记训练数据、测试效果差；
权重$w_2=[0.25,0.25,0.25,0.25]$均分所有特征权重，泛化性更好。

过拟合：模型在训练集损失极低，陌生测试集损失很高，正则化通过惩罚权重抑制过拟合。

6.2 L1、L2正则化原理

七、神经网络训练核心3：梯度下降（权重更新算法）

7.1 梯度与偏导数

• 偏导数：多变量函数固定其余变量，只对单个参数求导；
• 梯度：所有参数偏导数组成的向量，指向损失函数上升最快方向；
• 梯度下降：参数沿着梯度反方向移动，不断降低损失，类比下山找山谷最低点。

参数更新公式：
$$W_{new}=W_{old}-\eta \cdot \nabla Loss(W_{old})$$

• $\eta$：学习率（步长），太大震荡不收敛、太小收敛极慢；
• $\nabla Loss$：损失对权重的梯度。

配图6：梯度下降下山示意图（二维损失曲面）

八、完整训练链路：BP反向传播算法（前向+反向闭环）

BP（Back Propagation）反向传播是多层神经网络标准训练流程，分为前向传播算预测、反向传播调权重两大阶段，循环迭代至损失达标。

BP五步完整流程