从Sigmoid到谱归一化:深入理解WGAN中的Lipschitz约束(可视化讲解)
在生成对抗网络(GAN)的研究中,Wasserstein GAN(WGAN)因其训练稳定性和理论保证而备受关注。与传统GAN不同,WGAN通过引入Wasserstein距离来衡量生成分布与真实分布之间的差异,而这一改进的核心在于对判别器施加Lipschitz约束。本文将带您从激活函数的选择出发,逐步深入理解Lipschitz约束的本质,并探讨谱归一化这一创新技术如何优雅地实现这一约束。
1. 激活函数与梯度约束:从Sigmoid到ReLU
神经网络中的激活函数不仅决定了网络的非线性表达能力,还直接影响着梯度的传播特性。在早期神经网络中,Sigmoid函数因其平滑的S形曲线和良好的可导性被广泛使用:
def sigmoid(x):
return 1 / (1 + np.exp(-x))
然而,Sigmoid函数存在明显的梯度消失问题。当输入值较大或较小时,其导数趋近于零,这直接影响了深层网络的训练效果。更关键的是,Sigmoid函数的导数最大值为0.25,这意味着它天然满足Lipschitz连续性:
$$ |\\sigma\'(x)| \\leq 0.25 \\quad \\Rightarrow \\quad |\\sigma(x_1) – \\sigma(x_2)| \\leq 0.25|x_1 – x_2| $$
随着深度学习的发展,ReLU激活函数因其简单高效成为主流选择:
def relu(x):
return np.maximum(0, x)
ReLU在正区间的导数为1,理论上可以保持梯度不衰减。但这也带来了新的挑战——ReLU函数在0点不可导,且其输出无上界,这使得网络可能不满足Lipschitz约束。下表对比了几种常见激活函数的Lipschitz特性:

