- ReLU(Rectified Linear Unit)

def relu(x):
return np.maximum(0, x)
#优点:
#计算简单、速度快
#缓解梯度消失问题(正区间梯度为1)
#在 CNN、全连接网络中广泛使用
#缺点:
#“Dead ReLU” 问题:负输入梯度为0,可能导致神经元“死亡”(不再更新)
#适用:隐藏层首选(尤其是卷积神经网络)
- 2. Leaky ReLU —— ReLU 的改进版

def ly_relu(x):
a = 0.1#方便演示1e-4
return np.maximum(a*x, x)
#优点:解决 Dead ReLU 问题(负区间有小梯度)
#缺点:需手动调超参
变体
ELU

def elu(x,alpha=1.0):
return np.where(x > 0, x, alpha*(np.exp(x)–1))

PReLU

PReLU 的斜率 α 是可学习参数(通过反向传播自动优化)
- 3. Sigmoid —— 经典但已少用于隐藏层


def sigmoid(x):
return 1 / (1 + np.exp(–x))
#输出范围: (0,1)
#用途:
#二分类输出层(预测概率)
#早期神经网络的隐藏层(现已淘汰)
#缺点:
#梯度消失严重(两端导数接近0)
#输出不是以0为中心(影响优化)
#慎用:不要用于深层网络的隐藏层
- 4.Tanh(双曲正切) —— Sigmoid 的改进


def tanh(x):
return np.tanh(x)
#输出范围: (−1,1) ,以0为中心
#优点:比 Sigmoid 更适合隐藏层(中心化)
#缺点:仍有梯度消失问题
#现状:基本被 ReLU 取代,但在 RNN 中偶尔使用
- 5.Softmax —— 多分类输出层专用


#选择的范围[10,10,10]

#图片有点不明显吧,这里是使用[-10,10,100]选取的范围,
#不过还是能看到函数的特点数值越大占的比重也越大
def softmax(z):
exp_z = np.exp(z – np.max(z)) # 数值稳定性优化
return exp_z / np.sum(exp_z, axis=0)
#关于优化,因为z是任意数的向量[1000,2000,3000],np.exp(z)这里如果z很大的话会导致计算溢出,上下同时除以最大的值,这样基本上都变成负的
#作用:将 logits 转换为概率分布(所有输出和为1)
#注意:只用于输出层,不能用于隐藏层!
#配合损失函数:交叉熵损失(Cross-Entropy Loss)
- 6.Swish / SiLU —— 新一代激活函数(Google 提出)


def swish(x):
return x *sigmoid(x)
# 优点:平滑、非单调,在某些任务上优于ReLU
# 使用场景:Transformer、EfficientNet等现代架构



