深度学习稀疏、去噪与收缩自编码器 —— 三种正则自编码器（八十三）

1. 定位导航

🎉 正则自编码器：不靠瓶颈，靠约束。

第 82 篇讲了欠完备自编码器——靠瓶颈（小编码维度）强制学习。但瓶颈有局限：必须用浅层、小维度限制容量。本篇讲正则自编码器——用损失函数的约束代替瓶颈，让大容量、过完备的自编码器也能学到有用信息。

1.1 正则自编码器的优势

正则自编码器使用的损失函数可以鼓励模型学习其他特性（除了复制输入），而不必限制使用浅层编码器/解码器和小编码维度来限制容量。

1.2 关键

即使模型容量大到足以学习无意义的恒等函数，非线性且过完