岭回归（Ridge Regression）辨析

关键词：L2 正则、病态矩阵、偏差–方差权衡、共线性、凸优化、闭式解

1. 从最小二乘谈起

普通最小二乘（OLS）目标：
$${\hat{\beta }}_{\text{OLS}}=\arg \underset{\beta }{\min }\Vert \mathbf{y}-\mathbf{X}\beta {\Vert }_2^2$$
当设计矩阵 ${\mathbf{X}}^T\mathbf{X}$ 接近奇异（共线性、高维小样本）时，解的方差爆炸，预测不稳定。岭回归在损失函数里加上 L2 惩罚，把奇异矩阵“拽”回正定。

2. 目标函数：带 L2 正则的二次规划

岭回归目标：
$$J(\beta )=\underset{\text{数据拟合}}{\Vert \mathbf{y}-\mathbf{X}\beta {\Vert }_2^2}+\underset{\text{L2 惩罚}}{\lambda \Vert \beta {\Vert }_2^2},\lambda \ge 0$$

• $\lambda$：调谐参数，越大 → 参数压缩越狠，方差↓偏差↑
• 惩罚项不含截距（通常中心化处理，可证截距不收缩）

3. 闭式解：一步到位的“岭估计量”

令 ${\mathbf{A}}_{\lambda }={\mathbf{X}}^T\mathbf{X}+\lambda {\mathbf{I}}_p$，则
$${\hat{\beta }}_{\text{ridge}}=({\mathbf{X}}^T\mathbf{X}+\lambda {\mathbf{I}}_p{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
对比 OLS：${\hat{\beta }}_{\text{OLS}}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$

• 加上 $\lambda \mathbf{I}$ 保证严格正定，逆矩阵永远存在 → 数值稳定
• 特征值视角：$\text{eig}({\mathbf{X}}^T\mathbf{X})\to \text{eig}({\mathbf{X}}^T\mathbf{X})+\lambda$，小特征值被“抬”离零

4. 偏差–方差权衡图示

最优 $\lambda$ 存在于偏差–方差曲线最低点，需借助交叉验证选取。

5. 贝叶斯视角：高斯先验 = L2 惩罚

假设参数先验 $\beta \sim \mathcal{N}(0,{\sigma }^2/\lambda \mathbf{I})$，则后验众数恰好是岭解。

岭回归 ≈ 最大后验估计 (MAP)，$\lambda$ 反映先验置信度。

6. 岭回归 vs. L2 正则化：说法不同，本质相同

一句话总结：
L2 正则化是“思想”，岭回归是“思想 + 闭式解 + 统计推断”的完整模型。

7. 与 Lasso、Elastic Net 的关系

8. 快速代码：NumPy 一行实现

import numpy as np

def ridge_closed_form(X, y, lam=1.0, fit_intercept=True):
if fit_intercept:
X = np.column_stack([np.ones(X.shape[0]), X])
A = X.T @ X + lam * np.eye(X.shape[1])
beta = np.linalg.solve(A, X.T @ y) # 比inv更稳定
return beta

9. 小结一句话

岭回归 = 最小二乘 + L2 约束，用可控的“偏差”换取巨大的“方差”下降，是高维、共线性场景下最稳健、最可解释的线性模型之一。