欢迎光临
我们一直在努力

常用(常见)的激活函数

  • ReLU(Rectified Linear Unit)

ReLu

def relu(x):
return np.maximum(0, x)
#优点:
#计算简单、速度快
#缓解梯度消失问题(正区间梯度为1)
#在 CNN、全连接网络中广泛使用
#缺点:
#“Dead ReLU” 问题:负输入梯度为0,可能导致神经元“死亡”(不再更新)
#适用:隐藏层首选(尤其是卷积神经网络)

  • 2. Leaky ReLU —— ReLU 的改进版
    LyReLu

def ly_relu(x):
a = 0.1#方便演示1e-4
return np.maximum(a*x, x)
#优点:解决 Dead ReLU 问题(负区间有小梯度)
#缺点:需手动调超参

变体
ELU
在这里插入图片描述

def elu(x,alpha=1.0):
return np.where(x > 0, x, alpha*(np.exp(x)–1))

ELU

PReLU
在这里插入图片描述

PReLU 的斜率 α 是可学习参数(通过反向传播自动优化)

  • 3. Sigmoid —— 经典但已少用于隐藏层
  • Sigmoid

Sigmoid

def sigmoid(x):
return 1 / (1 + np.exp(–x))
#输出范围: (0,1)
#用途:
#二分类输出层(预测概率)
#早期神经网络的隐藏层(现已淘汰)
#缺点:
#梯度消失严重(两端导数接近0)
#输出不是以0为中心(影响优化)
#慎用:不要用于深层网络的隐藏层

  • 4.Tanh(双曲正切) —— Sigmoid 的改进
    Tanh
    Tanh

def tanh(x):
return np.tanh(x)
#输出范围: (−1,1) ,以0为中心
#优点:比 Sigmoid 更适合隐藏层(中心化)
#缺点:仍有梯度消失问题
#现状:基本被 ReLU 取代,但在 RNN 中偶尔使用

  • 5.Softmax —— 多分类输出层专用
    Softmax
    Softmax_10

#选择的范围[10,10,10]

Softmax_100

#图片有点不明显吧,这里是使用[-10,10,100]选取的范围,
#不过还是能看到函数的特点数值越大占的比重也越大

def softmax(z):
exp_z = np.exp(z – np.max(z)) # 数值稳定性优化
return exp_z / np.sum(exp_z, axis=0)
#关于优化,因为z是任意数的向量[1000,2000,3000],np.exp(z)这里如果z很大的话会导致计算溢出,上下同时除以最大的值,这样基本上都变成负的
#作用:将 logits 转换为概率分布(所有输出和为1)
#注意:只用于输出层,不能用于隐藏层!
#配合损失函数:交叉熵损失(Cross-Entropy Loss)

  • 6.Swish / SiLU —— 新一代激活函数(Google 提出)
    Swish
    Swish

def swish(x):
return x *sigmoid(x)
# 优点:平滑、非单调,在某些任务上优于ReLU
# 使用场景:Transformer、EfficientNet等现代架构

赞(0)
未经允许不得转载:171主机测评 » 常用(常见)的激活函数
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址