Lp 范数是一族用参数 p 连续调节的“大小尺子”。p 等于 1 是曼哈顿距离，p 等于 2 是欧几里得距离，p 趋向无穷大是最大绝对值。p 越小，几何形状越尖，越鼓励稀疏；p 越大，形状越方，越关注最大分量。p 在 1 到无穷之间，就是在“稀疏、平滑、最坏情况”之间滑动一个旋钮。
一、Lp 范数是什么？
Lp 范数的文字定义很朴素：
把向量里每个分量的绝对值取 p 次方，全部加起来，再开 p 次方。
p 是一个大于等于 1 的实数。
p 取不同值，就得到不同的范数：
-
p 等于 1：L1 范数，绝对值之和。
-
p 等于 2：L2 范数，平方和开根。
-
p 趋向无穷大：L∞ 范数，最大绝对值。
-
p 在 1 和 2 之间：介于曼哈顿和欧几里得之间。
-
p 大于 2：比欧几里得更“方”，更关注最大分量。
-
p 小于 1：不是真正范数，叫拟范数或伪范数，但能更强地鼓励稀疏。
所以 Lp 不是某一个范数，而是一整族范数。
p 就是这族范数的“性格调节器”。
二、几何直觉：单位球的形状
理解 Lp 最直观的方式，是看它的“单位球”：所有范数等于 1 的点组成的形状。
-
p 等于 1：单位球是菱形，四个尖角落在坐标轴上。
-
p 等于 2：单位球是圆，光滑，没有尖角。
-
p 等于无穷大：单位球是正方形，边与坐标轴平行。
-
p 在 1 和 2 之间：形状介于菱形和圆之间，叫超椭圆，有尖角但比菱形圆润。
-
p 大于 2：形状比圆更方，接近正方形，但角是圆的。
-
p 小于 1：形状向内凹陷，像星形，非凸。
尖角越明显，最优解越容易落在坐标轴上，产生稀疏。
所以 p 越小，越稀疏；p 越大，越不稀疏。
圆没有尖角，所以 L2 不产生稀疏。
菱形尖角最尖，所以 L1 最稀疏。
正方形角在坐标轴上，但边是平的，L∞ 关注最大分量，不直接鼓励稀疏。
三、p 的不同取值与极限
1. p 趋向 0：L0 伪范数
当 p 越来越小，趋近于 0 时，Lp 范数的行为趋近于“非零元素的个数”，也就是 L0 伪范数。
但 L0 不是真范数，不满足齐次性。
p 小于 1 也不是真范数，因为不满足三角不等式。
它们共同的特点是：更稀疏，但优化更难。
2. p 等于 1：L1 范数
绝对值之和，曼哈顿距离，出租车范数。
菱形，尖角，稀疏。
LASSO、压缩感知、鲁棒回归、总变差都用它。
3. p 在 1 和 2 之间
比如 p 等于 1.5。
形状介于菱形和圆之间。
比 L1 平滑，比 L2 稀疏。
优化比 L1 难一点，但比 p 小于 1 容易。
适合想要一定稀疏性，又不想太极端的情况。
4. p 等于 2：L2 范数
欧几里得距离，圆。
平滑、可导、严格凸、有闭式解。
岭回归、权重衰减、最小二乘、SVM、PCA、K-means 都用它。
不稀疏，但对异常值敏感，对大系数也收缩。
5. p 大于 2
形状比圆更方。
更关注最大分量，对大分量惩罚更重。
对异常值更敏感，因为异常值往往就是最大分量。
适合需要控制峰值、抑制最大偏差的场景，但不如 L∞ 极端。
6. p 趋向无穷大：L∞ 范数
最大绝对值，切比雪夫距离。
正方形，关注最坏情况。
对抗攻击、鲁棒优化、最坏情况分析、误差上界控制都用它。
忽略其他分量，只盯最大的那个。
四、Lp 与 L0、L1、L2、L∞ 的关系
| L0 | 非零个数 | 离散点 | 最强 | 不可导 | 压缩感知理论目标 |
| L1 | 绝对值之和 | 菱形 | 强 | 零点不可导 | LASSO、压缩感知 |
| Lp，1<p<2 | 介于两者 | 超椭圆 | 中 | 可导 | 平衡稀疏与平滑 |
| L2 | 平方和开根 | 圆 | 无 | 处处可导 | 岭回归、权重衰减 |
| Lp，p>2 | 更关注最大 | 更方 | 无 | 可导 | 控制峰值 |
| L∞ | 最大绝对值 | 正方形 | 无 | 不可导 | 对抗攻击、最坏情况 |
一句话：
p 越小越尖越稀疏，p 越大越方越关注最大分量。
五、核心性质
凸性：p 大于等于 1 时，Lp 是凸的。p 小于 1 时非凸。
齐次性：所有 Lp 都满足整体缩放，范数同比例缩放。
三角不等式：p 大于等于 1 时满足，这是闵可夫斯基不等式。p 小于 1 不满足。
可导性：p 等于 2 处处可导；p 大于 1 且不等于 2 时，除零点外可导；p 等于 1 和无穷大在特定点不可导。
严格凸：p 大于 1 且有限时，Lp 是严格凸的，解唯一。p 等于 1 和无穷大不是严格凸，解可能不唯一。
旋转不变：只有 p 等于 2 时，单位球是圆，旋转不变。其他 p 的单位球有方向性。
内积关系：只有 L2 由内积诱导，所以它和角度、投影、正交、余弦相似度关系最自然。
对偶性：Lp 和 Lq 互为对偶，其中 p 和 q 满足倒数之和为 1。L1 对偶 L∞，L2 对偶自己。
六、优化方法
-
p 等于 1：零点不可导。用近端梯度、软阈值、坐标下降、LARS、线性规划、ADMM。
-
p 等于 2：处处可导。用闭式解、正规方程、梯度下降、共轭梯度、牛顿法。
-
p 在 1 和 2 之间：可导但非二次。用梯度下降、近端梯度、牛顿法。
-
p 大于 2：可导，但大分量主导梯度。用梯度下降、拟牛顿法。
-
p 等于无穷大：不可导。用线性规划、约束优化、极小极大算法。
-
p 小于 1：非凸。用迭代重加权、贪心算法、平滑近似、非凸优化、稀疏贝叶斯。
p 越大，优化越受最大分量影响，梯度可能不稳定。
p 越小，优化越难，但稀疏性越强。
七、常见变体
1. 加权 Lp
给不同分量不同权重。
重要分量惩罚小，不重要分量惩罚大。
自适应 LASSO 就是加权 L1。
2. 组 Lp
先把变量分组，组内用 Lp，组间用 L1。
实现组稀疏，多任务学习常用。
3. Lp 损失
把 Lp 当损失函数，而不是正则项。
p 等于 1 是最小绝对偏差，鲁棒。
p 等于 2 是最小二乘，对异常值敏感。
p 小于 1 对大残差惩罚更轻，更鲁棒，但非凸。
4. Schatten p-范数
矩阵的 Schatten p-范数，是对奇异值取 Lp 范数。
p 等于 1：核范数，奇异值之和，低秩。
p 等于 2：Frobenius 范数，元素平方和开根。
p 等于无穷大：谱范数，最大奇异值。
5. 函数 Lp 空间
函数也有 Lp 范数。
p 等于 1：绝对可积。
p 等于 2：平方可积，希尔伯特空间。
p 等于无穷大：本质有界。
Lp 空间是泛函分析、信号处理、偏微分方程的基础。
八、典型应用
| 压缩感知 | L1 凸松弛，p<1 非凸更稀疏 |
| LASSO | L1 正则，特征选择 |
| 岭回归 | L2 正则，多重共线性 |
| 弹性网 | L1 加 L2，稀疏又稳定 |
| 鲁棒回归 | L1 损失，抗异常值 |
| 对抗攻击 | L∞ 扰动，L2 扰动，L1 扰动 |
| 图像去噪 | 总变差是 L1，L2 平滑 |
| 矩阵补全 | 核范数是 Schatten 1-范数 |
| 推荐系统 | 矩阵分解加 L2 正则 |
| SVM | L2 正则加 Hinge 损失 |
| PCA | L2 重构误差最小 |
| K-means | L2 距离最小 |
| 联邦学习 | Lp 正则控制更新稀疏性 |
| 金融 | Lp 风险度量，稀疏组合 |
| 信号处理 | Lp 优化，控制峰值和稀疏 |
| 深度学习 | 权重衰减是 L2，稀疏训练用 L1 |
| 模型剪枝 | L1 让权重稀疏，L0 理想 |
| 差分隐私 | L1、L2 敏感度 |
| 函数分析 | Lp 空间，Sobolev 空间 |
九、优缺点与选择指南
优点
-
p 是连续旋钮，可以精细调节稀疏、平滑、最坏情况。
-
p 大于等于 1 时凸，优化有理论保证。
-
p 等于 2 有闭式解，工程上极方便。
-
p 等于 1 稀疏，可解释。
-
p 等于无穷大控制最坏情况。
-
矩阵和函数都有对应推广。
缺点
-
p 小于 1 非凸，优化难。
-
p 等于 1 和无穷大不可导。
-
p 越大对异常值越敏感。
-
p 越小对大系数收缩越轻，但可能不稳定。
-
不同 p 的解差异大，选 p 需要领域知识。
-
高维时计算成本高。
选择指南
| 最稀疏，理论最优 | L0，但 NP 难 |
| 稀疏，凸，可高效求解 | L1 |
| 平滑，防过拟合 | L2 |
| 介于稀疏和平滑之间 | 1<p<2 |
| 控制最大偏差 | L∞ |
| 比 L2 更关注峰值 | p>2 |
| 比 L1 更稀疏 | p<1，非凸 |
| 低秩 | Schatten 1-范数，核范数 |
| 最大奇异值 | Schatten ∞-范数，谱范数 |
| 函数平方可积 | L2 空间 |
| 函数绝对可积 | L1 空间 |
| 函数有界 | L∞ 空间 |
十、口述总结
“Lp 范数是一族范数，用参数 p 连续调节。它的文字定义是：把每个分量的绝对值取 p 次方，加起来，再开 p 次方。p 等于 1 是曼哈顿距离，绝对值之和，菱形，稀疏；p 等于 2 是欧几里得距离，圆，平滑，有闭式解；p 趋向无穷大是最大绝对值，切比雪夫距离，正方形，关注最坏情况。p 在 1 和 2 之间，形状介于菱形和圆之间，比 L1 平滑，比 L2 稀疏；p 大于 2，比圆更方，更关注最大分量；p 小于 1，不是真范数，非凸，但更稀疏。Lp 范数 p 大于等于 1 时凸，p 等于 2 时严格凸且处处可导，p 等于 1 和无穷大不可导。矩阵有 Schatten p-范数，对奇异值取 Lp；函数有 Lp 空间，p 等于 2 是希尔伯特空间。应用上，L1 用于 LASSO 和压缩感知，L2 用于岭回归和权重衰减，L∞ 用于对抗攻击，1<p<2 用于平衡稀疏和平滑，p<1 用于非凸稀疏。面试里如果被追问，我会强调：p 就是稀疏、平滑、最坏情况之间的旋钮；L0 是极限，L1 是稀疏替身，L2 是平滑代表，L∞ 是最坏情况，实际选择取决于你对偏差、方差、鲁棒性和计算成本的要求。”
