前言
梯度下降（Gradient Descent）是机器学习和深度学习中最常用的优化算法之一，用于最小化损失函数，进而优化模型参数。理解梯度及其在梯度下降中的作用，对于掌握模型训练和优化至关重要。本文将深入探讨梯度与梯度下降的基本概念、数学原理、不同变种及其应用，并通过具体的示例代码帮助读者更好地理解和应用这些知识。
目录
- 3.1 批量梯度下降（Batch Gradient Descent）
- 3.2 随机梯度下降（Stochastic Gradient Descent, SGD）
- 3.3 小批量梯度下降（Mini-Batch Gradient Descent）
- 4.1 动量法（Momentum）
- 4.2 Nesterov加速梯度（Nesterov Accelerated Gradient, NAG）
- 4.3 AdaGrad
- 4.4 RMSProp
- 4.5 Adam
- 6.1 实现基本梯度下降法
- 6.2 使用Adam优化器的示例
