深度学习复习2

一、概念知识

1、线性函数与神经元

有局限，只能是直线，不能成曲线 y = wx + b

就算多个神经元串联形成，他们之间也只是起到了传递作用，相当于只有一层 下面举例说明两层神经网络后仍然是线性的

无论多少层都是只有一层

因此提出激活函数 模拟曲线。

计算参数

上述参数错误

正确：3*4+3+3+1

2、激活函数与非线性

激活函数就像是生物神经受到刺激的阈值，当达到某个值时才会进行神经传递。 常见且简单的激活函数：sigmoid、relu 特点：处处可导（relu的0除外） sigmoid

relu 常用这个，因为公式简单，计算方便，虽然在0处不可导

x小于0输出0，x大于0输出0本身

于是经过激活函数处理后就能得到更多非线性模型

                                                out=sigmoid(w1​x1​+w2​x2​+w3​x3​+w4​x4​+b1​)

3、优化成非线性神经网络

r1​=w1​x1​+w2​x2​+w3​x3​+w4​x4​+b1​

r2​=w5​x1​+w6​x2​+w7​x3​+w8​x4​+b2​

r3​=w9​x1​+w10​x2​+w11​x3​+w12​x4​+b3​

                                                        z=c1​δ(r1​)+c2​δ(r2​)+c3​δ(r3​)+b

4、调参

神经网络

正向求y^\\hat{y}y^​ 得 loss = | y^\\hat{y}y^​ – yyy | 反向求导求w,b   是一个链式求导过程  不断调整w,b

梯度下降：哪个方向下降的最快

链式求导 无论如何只要求出loss对w导数w-e他*loss对w导数更新参数

过拟合：408刷历年真题刷多了，就过拟合，导致新的考卷做不来（说的就是26考研）

二、神经网络 == 深度学习

上述概念只需了解，中间的具体过程都是黑匣子，只需调参，获得最优解即可 Neural Network == Deep Learning

• 神经网络可以完成超级复杂任务（人脸识别），但简单问题需要先验知识解决，比如发现数字规律

• 三、全链接

• 
• 
• 界外预测：比如在（-5,5）超过5预测差别很大
• 激活函数多了曲线弯曲程度不一样