(一)多层神经元&矩阵
各层的输入&输出可以抽象为矩阵的乘法&加法运算,此种线性传递方式下,即使有多层神经网络,其效果和一层没有区别(即:纯粹地加深网络层数没有用)
解决方案:引入激活函数(目的:相当于引入非线性元素,使得神经网络可以逼近任何非线性函数)
(二)激活函数
1激活函数特性: ①可求导 ②无参数 ③非线性 ④不是每个神经元都有
2激活位置(时机): 如图,在r₁向下一层传递时,经过激活过程
3常见的激活函数
注: ①通常relu效果更好 ②relu在0处不可导
(三)神经网络的参数
X为输入(特征)
Cᵗ w b 均为未知参数,待训练 (初始值:随机)
( 注: r中的b为矩阵,yˇ中单独加的b为数,但在矩阵运算时,为数字的b会自动补为矩阵)
未知参数的求法:
对损失函数loss对各个未知参数求偏导(逐层链式求导),使用梯度下降的方法更新未知参数
(四)拟合结果
1欠拟合: 得到的函数和数据之间完全不相关
2过拟合: 过度到连噪声数据都和函数相关了
