【流形学习语言变量分析基础】王阳明代数讲义之Fenchel共轭
-
- 和悦空间的王阳明代数和晏殊几何学
- 沃纳·芬切尔共轭：构造对偶问题的终极工具
- 第一部分：沃纳·芬切尔核心逻辑链总结
-
- 逻辑链一：从"切线"到"上确界"——定义的构造性推理
- 逻辑链二：从"原问题"到"对偶问题"——Fenchel对偶定理的推理
- 逻辑链三：从"任意函数"到"凸闭包"——双共轭的降维打击
- 逻辑链四：从"抽象"到"计算"——微积分规则的运作
- 沃纳·芬切尔方法论总表
- 第二部分：Fenchel共轭与对偶问题的构造
-
- 定义：从Legendre到Fenchel的飞跃
-
- Legendre变换的局限
- 沃纳·芬切尔范式的突破
- 几何直觉：切线簇的截距
-
- 凸可导情形
- 非可导情形
- 非凸情形
- 核心性质：Fenchel共轭的武器库
-
- 性质一：Fenchel-Young不等式（全局控制）
- 性质二：双共轭定理（凸闭包还原）
- 性质三：运算规则（对偶微积分）
- 核心应用：Fenchel对偶定理——构造对偶问题的万能模板
-
- 定理陈述（Fenchel-Rockafellar）
- 特例：线性规划对偶
- 特例：拉格朗日对偶
- 特例：f-GAN中的对偶
- 经典计算示例
- 性质总汇表
- Fenchel共轭的三层理解境界
- 友情提示，划重点
- 附录 云藏山鹰代数信息系统（YUDST Algebra Information System）
- 进阶阅读
和悦空间的王阳明代数和晏殊几何学
和悦空间是情感分析中的核心概念，它提供了描述意气实体过程的数学框架。王阳明代数和晏殊几何学是和悦空间中的重要结构，它们在情感分析、社会关系力学、气质砥砺学，人生意气场和社群成员魅力场中有着广泛的应用。本文将基于琴语言介绍王阳明代数（即伦理学、法学和决策科学约束行为经济学模型）中基于王阳明心学理论的情感分析的当代数学工具–Fenchel共轭。
| 提示词生成故事版套件信息图抽取=主体（明代思想家王阳明青年形象（束发戴黑漆纱帽，帽檐镶玉，着青布儒服，衣摆绣暗纹云纹，手持《朱子集注》手抄本，眼神坚毅望向远方）、妻子诸氏（传统妇人装束，发髻插银簪，着月白襦裙，新婚之夜与王阳明对坐执竹）、文学家李东阳（着绯红官服，补子绣仙鹤，手持王阳明《未科状元赋》，面露赏识之色）、同游友人（文人雅士，或执卷讲解时指尖点书，或对弈执黑棋子）、父亲王华（成化二年状元，着绯红官服，补子绣仙鹤，手持象牙笏板立于朝堂）、启蒙师友（文人雅士，或执卷讲解或对弈品茗））+场景（新婚之夜房间（红烛高照，墙上挂烫金“囍”字，案头置合卺酒，窗外月色如水）、贡院（号舍林立，考生伏案答题，王阳明站在门口望落第榜单，神情落寞）、北京—余姚往来路线图（朱砂红路线标注，山川淡墨分层晕染，城池简笔勾勒，河流细线勾勒，标注“1489—1499年”时间轴）、访友论学庭院（竹石假山旁，王阳明与友人执卷讨论经义，童子煮茶）、晨起读书书房（紫檀书架摆满线装书，案头青瓷笔洗、端砚，墙上挂“诗书传家”匾额，窗外竹影婆娑，王阳明晨读《大学》）、书信往来书房（王阳明持毛笔写信，案角铜香炉青烟袅袅）、李东阳赏识厅堂（李东阳持赋文面露惊喜，童子侍立））+风格（仿宋画院体工笔重彩，人物面部细笔勾勒神态，衣纹铁线描流畅，背景山水青绿设色分层，整体暖黄底色带古旧羊皮纸斑驳纹理与毛边，画面边缘有做旧焦痕，文字楷书/隶书书写，注释蝇头小楷边缘毛边做旧）+镜头语言（主视觉为王阳明青年正面肖像，占画面左上1/3，目光如炬，书卷半展，背景虚化；下方分五栏展示“新婚格竹”（新婚夜对坐执竹苦思）、“中举与落第”（贡院门口望落第榜单）、“不以落第动心为耻”（书房持《大学》，案头摆“读书以明理，非为科第”字条）、“李东阳赏识”（李东阳持赋文面露惊喜）、“兼习兵法与佛道”（书房持《孙子兵法》《六祖坛经》，案头摆兵符与佛珠），每栏配手写体注释，场景小框呈现，细节放大如落第榜单名字、赋文“此真奇才也”字样；右侧竖排展示基本资料与往来路线图，地图路线朱砂红突出；底部横排本段小结与名言金句，文字楷书书写，背景淡雅山水，边缘做旧）+氛围词（求学执着、文脉厚重、青年壮志、古朴典雅、历史纵深感、书香氤氲）+细节修饰（新婚“囍”字烫金，贡院号舍简笔勾勒木门窗户，路线图山川淡墨晕染层次，人物服饰暗纹云纹回纹，注释蝇头小楷毛边做旧，画面带“求学探索期”朱文主题印章（左下角，印文“王阳明求学探索”），右下角“1489—1499年”时间戳，左上角“王阳明一生完整经历图·第二段”隶书标题（深褐），右上角“阶段总览”“求学线索”小楷板块，背景淡墨山水） |
沃纳·芬切尔共轭：构造对偶问题的终极工具
第一部分：沃纳·芬切尔核心逻辑链总结
沃纳·芬切尔（Werner Fenchel, 1905–1988），德国数学家，凸分析的奠基人之一。他在20世纪50年代将勒让德（Legendre）变换从物理学中解放出来，推广为Fenchel共轭——一个不要求可微、不要求凸性的通用对偶构造工具。
他的核心洞见只有一句话：
任何函数，无论多么丑陋，都可以用一族仿射函数从上方"撑住"它。这族仿射函数的包络，就是它的共轭；而共轭的共轭，就是原函数的凸闭包。
逻辑链一：从"切线"到"上确界"——定义的构造性推理
沃纳·芬切尔的推理起点是一个极简的几何观察：
对于任意函数
f
(
x
)
f(x)
f(x)，固定一个"斜率"
y
y
y，考虑所有过原点的直线
y
T
x
y^Tx
yTx。哪条直线与
f
(
x
)
f(x)
f(x) 之间的最大垂直距离最大？
这个最大距离就是：
f
∗
(
y
)
=
sup
x
∈
dom
f
{
y
T
x
−
f
(
x
)
}
f^*(y) = \\sup_{x \\in \\text{dom} f} \\{ y^T x – f(x) \\}
f∗(y)=x∈domfsup{yTx−f(x)}
|
y T x y^T x yTx |
斜率为
y y y 的仿射函数（过原点的超平面） |
|
y T x − f ( x ) y^T x – f(x) yTx−f(x) |
该仿射函数与原函数的垂直间隙 |
|
sup \\sup sup |
找所有间隙中最大的那个 |
|
f ∗ ( y ) f^*(y) f∗(y) |
以斜率
y y y 为自变量的"最大间隙"函数 |
沃纳·芬切尔范式：他不要求
f
f
f 可导（不需要唯一切线），不要求
f
f
f 凸（非凸函数也能做）。用上确界自动处理了多值切线和非凸凹陷——上确界会"选出"最大的那个间隙，天然地把结果变成凸函数。
逻辑链二：从"原问题"到"对偶问题"——Fenchel对偶定理的推理
这是Fenchel最具杀伤力的一步。他考虑了一个极其一般的优化问题：
min
x
f
(
x
)
+
g
(
A
x
)
\\min_x \\; f(x) + g(Ax)
xminf(x)+g(Ax)
其中
f
:
R
n
→
R
∪
{
+
∞
}
f: \\mathbb{R}^n \\to \\mathbb{R} \\cup \\{+\\infty\\}
f:Rn→R∪{+∞}，
g
:
R
m
→
R
∪
{
+
∞
}
g: \\mathbb{R}^m \\to \\mathbb{R} \\cup \\{+\\infty\\}
g:Rm→R∪{+∞}，
A
:
R
n
→
R
m
A: \\mathbb{R}^n \\to \\mathbb{R}^m
A:Rn→Rm 是线性算子。
Fenchel的推理：
| 1 | 引入扰动：将
f ( x ) f(x) f(x) 写成 sup y { y T x − f ∗ ( y ) } \\sup_y \\{ y^T x – f^*(y) \\} supy{yTx−f∗(y)} |
由共轭定义的逆关系（
f ( x ) = sup y { y T x − f ∗ ( y ) } f(x) = \\sup_y \\{y^Tx – f^*(y)\\} f(x)=supy{yTx−f∗(y)}，当 f f f 闭凸时成立） |
| 2 | 代入原问题：
min x sup y { y T x − f ∗ ( y ) + g ( A x ) } \\min_x \\sup_y \\{ y^Tx – f^*(y) + g(Ax) \\} minxsupy{yTx−f∗(y)+g(Ax)} |
变量分离 |
| 3 | 交换
min \\min min 和 sup \\sup sup（需要约束规格： 0 ∈ int ( dom g − A dom f ) 0 \\in \\text{int}(\\text{dom}\\, g – A\\,\\text{dom}\\, f) 0∈int(domg−Adomf)，即Slater条件） |
凸集分离定理 |
| 4 | 得到对偶问题：
max y
− f ∗ ( − A T y ) − g ∗ ( y ) \\max_y \\; -f^*(-A^T y) – g^*(y) maxy−f∗(−ATy)−g∗(y) |
整理后即
min y
f ∗ ( − A T y ) + g ∗ ( y ) \\min_y \\; f^*(-A^T y) + g^*(y) minyf∗(−ATy)+g∗(y) |
这就是Fenchel-Rockafellar对偶定理。它是线性规划对偶、拉格朗日对偶、KKT条件的统一母体。
|
min x f ( x ) + g ( A x ) \\min_x f(x) + g(Ax) minxf(x)+g(Ax) |
min y f ∗ ( − A T y ) + g ∗ ( y ) \\min_y f^*(-A^T y) + g^*(y) minyf∗(−ATy)+g∗(y) |
| 变量在
x x x 空间 |
变量在
y y y 空间（对偶空间） |
| 难度：直接优化
f + g f+g f+g |
难度：优化
f ∗ + g ∗ f^*+g^* f∗+g∗（往往更简单） |
逻辑链三：从"任意函数"到"凸闭包"——双共轭的降维打击
沃纳·芬切尔发现了一个惊人的事实：
f
∗
∗
(
x
)
=
sup
y
{
x
T
y
−
f
∗
(
y
)
}
=
cl
(
conv
)
(
f
)
(
x
)
f^{**}(x) = \\sup_y \\{ x^T y – f^*(y) \\} = \\text{cl}(\\text{conv})(f)(x)
f∗∗(x)=ysup{xTy−f∗(y)}=cl(conv)(f)(x)
即：对任何函数取两次共轭，得到的是它的凸闭包（下半连续凸包）。
|
f f f 是闭凸函数 |
f ∗ ∗ = f f^{**} = f f∗∗=f（共轭的共轭回到自身） |
|
f f f 非凸 |
f ∗ ∗ f^{**} f∗∗ 是 f f f 的凸包（非凸部分被"熨平"） |
|
f f f 不连续 |
f ∗ ∗ f^{**} f∗∗ 是 f f f 的下半连续化 |
沃纳·芬切尔范式：共轭操作天然"保凸"——因为它是一族仿射函数的上确界，而仿射函数的上确界必为凸函数。所以
f
∗
f^*
f∗ 永远是凸的，
f
∗
∗
f^{**}
f∗∗ 也永远是凸的。一次共轭"凸化"，两次共轭"凸闭包化"。
逻辑链四：从"抽象"到"计算"——微积分规则的运作
沃纳·芬切尔不仅给出了存在性定理，还建立了一套完整的运算微积分：
| 二次函数 |
f ( x ) = 1 2 x T Q x f(x) = \\frac{1}{2}x^T Q x f(x)=21xTQx（ Q ≻ 0 Q \\succ 0 Q≻0） |
f ∗ ( y ) = 1 2 y T Q − 1 y f^*(y) = \\frac{1}{2}y^T Q^{-1} y f∗(y)=21yTQ−1y |
求导令梯度为零：
Q x = y ⇒ x = Q − 1 y Qx = y \\Rightarrow x = Q^{-1}y Qx=y⇒x=Q−1y |
| 负熵 |
f ( x ) = x log x − x f(x) = x\\log x – x f(x)=xlogx−x（ x > 0 x > 0 x>0） |
f ∗ ( y ) = e y f^*(y) = e^y f∗(y)=ey |
求导：
y − log x = 0 ⇒ x = e y y – \\log x = 0 \\Rightarrow x = e^y y−logx=0⇒x=ey |
| 指示函数 |
δ C ( x ) = { 0 x ∈ C + ∞ 否则 \\delta_C(x) = \\begin{cases} 0 & x \\in C \\\\ +\\infty & \\text{否则} \\end{cases} δC(x)={0+∞x∈C否则 |
δ C ∗ ( y ) = sup x ∈ C y T x = σ C ( y ) \\delta_C^*(y) = \\sup_{x \\in C} y^T x = \\sigma_C(y) δC∗(y)=supx∈CyTx=σC(y)（支撑函数） |
上确界退化为在集合
C C C 上最大化线性函数 |
| 独立和 |
f ( u , v ) = f 1 ( u ) + f 2 ( v ) f(u,v) = f_1(u) + f_2(v) f(u,v)=f1(u)+f2(v) |
f ∗ ( w , z ) = f 1 ∗ ( w ) + f 2 ∗ ( z ) f^*(w,z) = f_1^*(w) + f_2^*(z) f∗(w,z)=f1∗(w)+f2∗(z) |
变量分离，sup可分解 |
| 仿射变换 |
g ( x ) = a f ( x ) + b g(x) = af(x) + b g(x)=af(x)+b |
g ∗ ( y ) = a f ∗ ( y / a ) − b g^*(y) = a f^*(y/a) – b g∗(y)=af∗(y/a)−b |
变量替换
y ′ = y / a y' = y/a y′=y/a |
| 卷积 |
( f □ g ) ( x ) = inf z { f ( z ) + g ( x − z ) } (f \\square g)(x) = \\inf_z \\{f(z) + g(x-z)\\} (f□g)(x)=infz{f(z)+g(x−z)} |
( f □ g ) ∗ = f ∗ + g ∗ (f \\square g)^* = f^* + g^* (f□g)∗=f∗+g∗ |
卷积的共轭是共轭的和（对偶于傅里叶变换中卷积变乘积） |
沃纳·芬切尔范式：他把"求共轭"变成了一套可机械执行的代数运算。这使得共轭不再是抽象定义，而是可以直接计算的工具——这正是它能构造对偶问题的关键。
沃纳·芬切尔方法论总表
| 不要求可微 | 用上确界替代导数，自动处理多值梯度（次梯度） |
| 不要求凸性 | 非凸函数也能取共轭，结果自动凸化 |
| 保凸性 |
f ∗ f^* f∗ 永远是凸函数（仿射函数族的上确界） |
| 对偶桥梁 |
f ( x ) = sup y { y T x − f ∗ ( y ) } f(x) = \\sup_y \\{y^Tx – f^*(y)\\} f(x)=supy{yTx−f∗(y)} 是从原空间穿越到对偶空间的虫洞 |
| 运算封闭 | 和、仿射变换、卷积的共轭都有显式公式 |
| 双共轭还原 |
f ∗ ∗ = cl conv ( f ) f^{**} = \\text{cl conv}(f) f∗∗=cl conv(f)，凸函数时 f ∗ ∗ = f f^{**} = f f∗∗=f |
| 统一对偶 | 线性规划对偶、拉格朗日对偶、KKT条件都是Fenchel对偶的特例 |
第二部分：Fenchel共轭与对偶问题的构造
定义：从Legendre到Fenchel的飞跃
Legendre变换的局限
19世纪，法国数学家勒让德（Legendre）在力学中引入了变换：
G
(
u
)
=
u
x
−
f
(
x
)
,
其中
u
=
d
f
d
x
G(u) = ux – f(x), \\quad \\text{其中 } u = \\frac{df}{dx}
G(u)=ux−f(x),其中 u=dxdf
这本质上是用切线的截距来重新描述曲线。但Legendre变换有两个致命局限：
| 要求可导 | 若
f f f 不可导（如 f ( x ) = ∣ x ∣ f(x) = |x| f(x)=∣x∣），则 u = ∇ f ( x ) u = \\nabla f(x) u=∇f(x) 不唯一 |
| 要求凸性 | 若
f f f 非凸，同一斜率 u u u 可能对应多个截距， G ( u ) G(u) G(u) 不是函数 |
沃纳·芬切尔范式的突破
沃纳·芬切尔范式在1950年代将Legendre变换推广为：
f
∗
(
y
)
=
sup
x
∈
dom
f
{
y
T
x
−
f
(
x
)
}
\\boxed{f^*(y) = \\sup_{x \\in \\text{dom} f} \\{ y^T x – f(x) \\}}
f∗(y)=x∈domfsup{yTx−f(x)}
关键改动：把"求导令其为零"替换为"取上确界"。
| 极值条件 |
∇ f ( x ) = y \\nabla f(x) = y ∇f(x)=y（要求可导） |
sup \\sup sup 自动找到最大值点（不要求可导） |
| 唯一性 | 同一
y y y 可能对应多个 x x x |
上确界自动选出最大间隙（唯一） |
| 凸性要求 |
f f f 必须凸 |
f f f 任意，但 f ∗ f^* f∗ 必凸 |
一句话总结：Legendre变换是Fenchel共轭在"
f
f
f 凸且可导"时的特例。Fenchel用上确界的存在性，绕过了可导性和凸性的限制。
几何直觉：切线簇的截距
凸可导情形
若
f
f
f 凸且可导，则对每个
x
x
x，存在唯一切线：
T
x
(
z
)
=
f
(
x
)
+
∇
f
(
x
)
T
(
z
−
x
)
T_x(z) = f(x) + \\nabla f(x)^T (z – x)
Tx(z)=f(x)+∇f(x)T(z−x)
切线在
z
=
0
z=0
z=0 处的截距为：
b
=
f
(
x
)
−
∇
f
(
x
)
T
x
b = f(x) – \\nabla f(x)^T x
b=f(x)−∇f(x)Tx
令
y
=
∇
f
(
x
)
y = \\nabla f(x)
y=∇f(x)（斜率），则：
f
∗
(
y
)
=
y
T
x
−
f
(
x
)
=
−
b
f^*(y) = y^T x – f(x) = -b
f∗(y)=yTx−f(x)=−b
几何意义：
f
∗
(
y
)
f^*(y)
f∗(y) 是以
y
y
y 为斜率的切线在原点处的截距的相反数。
f
∗
f^*
f∗ 的自变量是原函数的"斜率"，因变量是"负截距"。
非可导情形
若
f
f
f 不可导（如
f
(
x
)
=
∣
x
∣
f(x) = |x|
f(x)=∣x∣），在
x
=
0
x=0
x=0 处有多个次梯度
y
∈
[
−
1
,
1
]
y \\in [-1, 1]
y∈[−1,1]。此时：
f
∗
(
y
)
=
sup
x
{
y
x
−
∣
x
∣
}
=
{
0
∣
y
∣
≤
1
+
∞
∣
y
∣
>
1
f^*(y) = \\sup_x \\{ yx – |x| \\} = \\begin{cases} 0 & |y| \\leq 1 \\\\ +\\infty & |y| > 1 \\end{cases}
f∗(y)=xsup{yx−∣x∣}={0+∞∣y∣≤1∣y∣>1
上确界自动"选出"了最大间隙。即使原函数有"尖角"，共轭函数依然是良定义的凸函数。
非凸情形
若
f
f
f 非凸（如
f
(
x
)
=
−
x
2
f(x) = -x^2
f(x)=−x2），则：
f
∗
(
y
)
=
sup
x
{
y
x
+
x
2
}
=
+
∞
(
对所有
y
)
f^*(y) = \\sup_x \\{ yx + x^2 \\} = +\\infty \\quad (\\text{对所有 } y)
f∗(y)=xsup{yx+x2}=+∞(对所有 y)
非凸函数的共轭可能是
+
∞
+\\infty
+∞（无界）。但双共轭
f
∗
∗
f^{**}
f∗∗ 会自动"凸化"：
f
∗
∗
(
x
)
=
0
f^{**}(x) = 0
f∗∗(x)=0（常数函数，是
−
x
2
-x^2
−x2 的凸闭包）。
核心性质：Fenchel共轭的武器库
性质一：Fenchel-Young不等式（全局控制）
由定义直接得到：
f
(
x
)
+
f
∗
(
y
)
≥
x
T
y
,
∀
x
,
y
\\boxed{f(x) + f^*(y) \\geq x^T y, \\quad \\forall x, y}
f(x)+f∗(y)≥xTy,∀x,y
等号成立条件：
y
∈
∂
f
(
x
)
y \\in \\partial f(x)
y∈∂f(x)（
y
y
y 是
f
f
f 在
x
x
x 处的次梯度）。
|
f ( x ) f(x) f(x) |
原函数在
x x x 处的"高度" |
|
f ∗ ( y ) f^*(y) f∗(y) |
斜率为
y y y 的切线在原点的"负截距" |
|
x T y x^T y xTy |
两者之和至少等于内积 |
这是Fenchel共轭最强大的不等式。它统一了Cauchy-Schwarz不等式、AM-GM不等式、Young不等式等。
例子：取
f
(
x
)
=
1
2
x
T
Q
x
f(x) = \\frac{1}{2}x^T Q x
f(x)=21xTQx（
Q
≻
0
Q \\succ 0
Q≻0），则
f
∗
(
y
)
=
1
2
y
T
Q
−
1
y
f^*(y) = \\frac{1}{2}y^T Q^{-1} y
f∗(y)=21yTQ−1y，Fenchel不等式给出：
1
2
x
T
Q
x
+
1
2
y
T
Q
−
1
y
≥
x
T
y
\\frac{1}{2}x^T Q x + \\frac{1}{2}y^T Q^{-1} y \\geq x^T y
21xTQx+21yTQ−1y≥xTy
即
x
T
Q
x
+
y
T
Q
−
1
y
≥
2
x
T
y
x^T Q x + y^T Q^{-1} y \\geq 2x^T y
xTQx+yTQ−1y≥2xTy——这是矩阵形式的AM-GM不等式。
性质二：双共轭定理（凸闭包还原）
f
∗
∗
(
x
)
=
sup
y
{
x
T
y
−
f
∗
(
y
)
}
=
cl
(
conv
)
(
f
)
(
x
)
\\boxed{f^{**}(x) = \\sup_y \\{ x^T y – f^*(y) \\} = \\text{cl}(\\text{conv})(f)(x)}
f∗∗(x)=ysup{xTy−f∗(y)}=cl(conv)(f)(x)
|
f f f 是闭凸函数 |
f ∗ ∗ = f f^{**} = f f∗∗=f |
|
f f f 非凸 |
f ∗ ∗ 是 f f^{**} 是 f f∗∗是f 的凸闭包（把凹陷"填平"） |
|
f f f 不下半连续 |
f ∗ ∗ 是 f f^{**} 是 f f∗∗是f 的下半连续化 |
Fenchel-Moreau定理：
f
=
f
∗
∗
f = f^{**}
f=f∗∗ 当且仅当
f
f
f 是真凸下半连续函数。
这意味着：共轭操作是一个"凸化投影算子"——它把任意函数投影到凸函数空间中。
性质三：运算规则（对偶微积分）
| 独立和 |
( f 1 + f 2 ) ∗ ( y ) = f 1 ∗ ( y ) + f 2 ∗ ( y ) (f_1 + f_2)^*(y) = f_1^*(y) + f_2^*(y) (f1+f2)∗(y)=f1∗(y)+f2∗(y) |
变量可分离时 |
| 仿射变换 |
( a f + b ) ∗ ( y ) = a f ∗ ( y / a ) − b (af + b)^*(y) = a f^*(y/a) – b (af+b)∗(y)=af∗(y/a)−b |
a > 0 a > 0 a>0 |
| 线性变换 |
f ( A x + b ) ∗ ( y ) = f ∗ ( A T y ) − b T y f(Ax + b)^*(y) = f^*(A^T y) – b^T y f(Ax+b)∗(y)=f∗(ATy)−bTy |
链式法则的对偶版本 |
| 卷积 |
( f □ g ) ∗ = f ∗ + g ∗ (f \\square g)^* = f^* + g^* (f□g)∗=f∗+g∗ |
卷积的对偶是和（对偶于傅里叶变换） |
| 指示函数 |
δ C ∗ ( y ) = σ C ( y ) = sup x ∈ C y T x \\delta_C^*(y) = \\sigma_C(y) = \\sup_{x \\in C} y^T x δC∗(y)=σC(y)=supx∈CyTx |
支撑函数 |
| 负熵 |
( x log x − x ) ∗ ( y ) = e y (x\\log x – x)^*(y) = e^y (xlogx−x)∗(y)=ey |
KL散度/UOT的核心 |
| 范数 |
∣ ⋅ ∣ ∗ ( y ) = δ ∣ y ∣ ∗ ≤ 1 ( y ) | \\cdot |^*(y) = \\delta_{|y|_* \\leq 1}(y) ∣⋅∣∗(y)=δ∣y∣∗≤1(y) |
对偶范数的指示函数 |
核心应用：Fenchel对偶定理——构造对偶问题的万能模板
定理陈述（Fenchel-Rockafellar）
考虑原问题：
(
P
)
min
x
f
(
x
)
+
g
(
A
x
)
(P) \\quad \\min_x \\; f(x) + g(Ax)
(P)xminf(x)+g(Ax)
其中
f
:
R
n
→
R
∪
{
+
∞
}
f: \\mathbb{R}^n \\to \\mathbb{R} \\cup \\{+\\infty\\}
f:Rn→R∪{+∞}，
g
:
R
m
→
R
∪
{
+
∞
}
g: \\mathbb{R}^m \\to \\mathbb{R} \\cup \\{+\\infty\\}
g:Rm→R∪{+∞} 是真凸下半连续函数，
A
:
R
n
→
R
m
A: \\mathbb{R}^n \\to \\mathbb{R}^m
A:Rn→Rm 是线性算子。
对偶问题：
(
D
)
min
y
f
∗
(
−
A
T
y
)
+
g
∗
(
y
)
(D) \\quad \\min_y \\; f^*(-A^T y) + g^*(y)
(D)yminf∗(−ATy)+g∗(y)
约束规格（保证强对偶，即
p
∗
=
d
∗
p^* = d^*
p∗=d∗）：
0
∈
int
(
dom
g
−
A
dom
f
)
0 \\in \\text{int}(\\text{dom}\\, g – A\\,\\text{dom}\\, f)
0∈int(domg−Adomf)
（这等价于Slater条件：存在
x
x
x 使
f
(
x
)
<
+
∞
f(x) < +\\infty
f(x)<+∞ 且
A
x
∈
int
(
dom
g
)
Ax \\in \\text{int}(\\text{dom}\\, g)
Ax∈int(domg)）
最优解关系：若
y
∗
y^*
y∗ 是对偶最优解，则原问题最优解集合为：
x
∗
∈
(
∂
f
)
−
1
(
−
A
T
y
∗
)
∩
A
−
1
(
∂
g
)
−
1
(
y
∗
)
x^* \\in (\\partial f)^{-1}(-A^T y^*) \\cap A^{-1}(\\partial g)^{-1}(y^*)
x∗∈(∂f)−1(−ATy∗)∩A−1(∂g)−1(y∗)
即：
−
A
T
y
∗
∈
∂
f
(
x
∗
)
,
y
∗
∈
∂
g
(
A
x
∗
)
\\boxed{-A^T y^* \\in \\partial f(x^*), \\quad y^* \\in \\partial g(Ax^*)}
−ATy∗∈∂f(x∗),y∗∈∂g(Ax∗)
这正是KKT条件的抽象形式！
特例：线性规划对偶
令
f
(
x
)
=
c
T
x
+
δ
{
x
≥
0
}
(
x
)
f(x) = c^T x + \\delta_{\\{x \\geq 0\\}}(x)
f(x)=cTx+δ{x≥0}(x)，
g
(
y
)
=
δ
{
y
=
b
}
(
y
)
g(y) = \\delta_{\\{y = b\\}}(y)
g(y)=δ{y=b}(y)，
A
A
A 为约束矩阵。
|
f ∗ ( u ) = sup x { u T x − c T x ∣ x ≥ 0 } = δ { u ≤ c } ( u ) f^*(u) = \\sup_x \\{ u^T x – c^T x \\mid x \\geq 0 \\} = \\delta_{\\{u \\leq c\\}}(u) f∗(u)=supx{uTx−cTx∣x≥0}=δ{u≤c}(u) |
u ≤ c u \\leq c u≤c 时为0，否则 + ∞ +\\infty +∞ |
|
g ∗ ( v ) = sup y { v T y ∣ y = b } = b T v g^*(v) = \\sup_y \\{ v^T y \\mid y = b \\} = b^T v g∗(v)=supy{vTy∣y=b}=bTv |
线性函数 |
| 对偶问题 |
min v
δ { v ≤ c } ( − A T v ) + b T v = max v
b T v s.t. A T v ≤ c \\min_v \\; \\delta_{\\{v \\leq c\\}}(-A^T v) + b^T v = \\max_v \\; b^T v \\text{ s.t. } A^T v \\leq c minvδ{v≤c}(−ATv)+bTv=maxvbTv s.t. ATv≤c |
这就是标准LP对偶：原问题
min
c
T
x
\\min c^Tx
mincTx s.t.
A
x
=
b
,
x
≥
0
Ax=b, x\\geq 0
Ax=b,x≥0，对偶
max
b
T
y
\\max b^Ty
maxbTy s.t.
A
T
y
≤
c
A^Ty \\leq c
ATy≤c。
特例：拉格朗日对偶
令
g
=
δ
C
g = \\delta_C
g=δC（指示函数），则
g
∗
(
y
)
=
σ
C
(
y
)
=
sup
z
∈
C
y
T
z
g^*(y) = \\sigma_C(y) = \\sup_{z \\in C} y^T z
g∗(y)=σC(y)=supz∈CyTz。
对偶问题变为：
min
y
f
∗
(
−
A
T
y
)
+
σ
C
(
y
)
\\min_y \\; f^*(-A^T y) + \\sigma_C(y)
yminf∗(−ATy)+σC(y)
若
C
=
{
0
}
C = \\{0\\}
C={0}，则
σ
C
(
y
)
=
0
\\sigma_C(y) = 0
σC(y)=0（当
y
=
0
y=0
y=0），否则
+
∞
+\\infty
+∞，退化为
min
y
f
∗
(
−
A
T
y
)
\\min_y f^*(-A^T y)
minyf∗(−ATy) s.t.
y
=
0
y = 0
y=0——这正是经典拉格朗日对偶。
特例：f-GAN中的对偶
在f-GAN中，要最小化f-散度
D
f
(
P
∥
Q
)
D_f(P \\| Q)
Df(P∥Q)。利用Fenchel共轭：
f
(
t
)
=
sup
s
{
s
t
−
f
∗
(
s
)
}
f(t) = \\sup_{s} \\{ st – f^*(s) \\}
f(t)=ssup{st−f∗(s)}
代入得：
D
f
(
P
∥
Q
)
=
sup
D
{
E
x
∼
P
[
D
(
x
)
]
−
E
x
∼
Q
[
f
∗
(
D
(
x
)
)
]
}
D_f(P \\| Q) = \\sup_D \\left\\{ \\mathbb{E}_{x \\sim P}[D(x)] – \\mathbb{E}_{x \\sim Q}[f^*(D(x))] \\right\\}
Df(P∥Q)=Dsup{Ex∼P[D(x)]−Ex∼Q[f∗(D(x))]}
这就是GAN的对偶形式：
D
D
D 是判别器，
f
∗
f^*
f∗ 决定了GAN的损失函数形状。不同的
f
f
f（KL、JS、
χ
2
\\chi^2
χ2）对应不同的
f
∗
f^*
f∗，从而产生不同的GAN变体。
经典计算示例
|
1 2 x T Q x \\frac{1}{2}x^T Q x 21xTQx（ Q ≻ 0 Q \\succ 0 Q≻0） |
1 2 y T Q − 1 y \\frac{1}{2}y^T Q^{-1} y 21yTQ−1y |
∇ f = Q x = y ⇒ x = Q − 1 y \\nabla f = Qx = y \\Rightarrow x = Q^{-1}y ∇f=Qx=y⇒x=Q−1y |
|
1 2 ∣ x ∣ 2 2 \\frac{1}{2}|x|_2^2 21∣x∣22 |
1 2 ∣ y ∣ 2 2 \\frac{1}{2}|y|_2^2 21∣y∣22 |
自共轭 |
|
∣ x ∣ 1 |x|_1 ∣x∣1 |
δ ∣ y ∣ ∞ ≤ 1 ( y ) \\delta_{|y|_\\infty \\leq 1}(y) δ∣y∣∞≤1(y) |
∣ y ∣ ∞ ≤ 1 |y|_\\infty \\leq 1 ∣y∣∞≤1 时为0，否则 + ∞ +\\infty +∞ |
|
∣ x ∣ 2 |x|_2 ∣x∣2 |
δ ∣ y ∣ 2 ≤ 1 ( y ) \\delta_{|y|_2 \\leq 1}(y) δ∣y∣2≤1(y) |
对偶范数 |
|
x log x − x x\\log x – x xlogx−x（ x > 0 x>0 x>0） |
e y e^y ey |
y = log x ⇒ x = e y y = \\log x \\Rightarrow x = e^y y=logx⇒x=ey |
|
− log x -\\log x −logx（ x > 0 x>0 x>0） |
− 1 − log ( − y ) -1 – \\log(-y) −1−log(−y)（ y < 0 y<0 y<0） |
y = − 1 / x ⇒ x = − 1 / y y = -1/x \\Rightarrow x = -1/y y=−1/x⇒x=−1/y |
|
δ C ( x ) \\delta_C(x) δC(x)（指示函数） |
σ C ( y ) = sup x ∈ C y T x \\sigma_C(y) = \\sup_{x \\in C} y^Tx σC(y)=supx∈CyTx |
支撑函数 |
|
I [ a , b ] ( x ) I_{[a,b]}(x) I[a,b](x)（区间指示） |
a y − + b y + ay_- + by_+ ay−+by+（ y + = max ( y , 0 ) y_+ = \\max(y,0) y+=max(y,0)， y − = max ( − y , 0 ) y_- = \\max(-y,0) y−=max(−y,0)） |
线性分段 |
性质总汇表
| Fenchel不等式 |
f ( x ) + f ∗ ( y ) ≥ x T y f(x) + f^*(y) \\geq x^Ty f(x)+f∗(y)≥xTy |
全局控制，等号⇔
y ∈ ∂ f ( x ) y \\in \\partial f(x) y∈∂f(x) |
| 保凸性 |
f ∗ f^* f∗ 永远是凸函数 |
仿射函数族的上确界 |
| 双共轭还原 |
f ∗ ∗ = cl conv ( f ) f^{**} = \\text{cl conv}(f) f∗∗=cl conv(f) |
凸函数时
f ∗ ∗ = f f^{**} = f f∗∗=f |
| 对偶桥梁 |
f ( x ) = sup y { y T x − f ∗ ( y ) } f(x) = \\sup_y \\{y^Tx – f^*(y)\\} f(x)=supy{yTx−f∗(y)} |
原空间↔对偶空间的虫洞 |
| 运算封闭 | 和、仿射、卷积的共轭有显式公式 | 可机械计算 |
| 统一对偶 | LP对偶、Lagrange对偶、KKT都是特例 | 对偶理论的母体 |
| 次梯度对偶 |
y ∈ ∂ f ( x ) ⟺ f ( x ) + f ∗ ( y ) = x T y y \\in \\partial f(x) \\iff f(x) + f^*(y) = x^Ty y∈∂f(x)⟺f(x)+f∗(y)=xTy |
最优性的充要条件 |
Fenchel共轭的三层理解境界
| 第一层：切线截距 |
f ∗ ( y ) f^*(y) f∗(y) 是斜率为 y y y 的切线的负截距 |
几何直觉，与Legendre变换相同 |
| 第二层：最大间隙 |
f ∗ ( y ) = max x { y T x − f ( x ) } f^*(y) = \\max_x \\{y^Tx – f(x)\\} f∗(y)=maxx{yTx−f(x)} 是直线与曲线的最大垂直距离 |
理解了为什么不需要可导——上确界自动处理 |
| 第三层：凸包络 |
f ∗ f^* f∗ 是仿射函数族的上确界，天然凸； f ∗ ∗ f^{**} f∗∗ 是原函数的凸闭包 |
理解了为什么共轭是"凸化投影"——一次共轭凸化，两次共轭还原 |
友情提示，划重点
Fenchel构造对偶问题的学术范式，可浓缩为一句话：
用"斜率-截距"的语言重新编码任意函数，用上确界自动处理不可导和非凸，用共轭的共轭保证凸闭包还原，用Fenchel-Young不等式控制原-对偶间隙，最终通过Fenchel-Rockafellar定理，将原问题
min
f
+
g
\\min f+g
minf+g 翻译为对偶问题
min
f
∗
+
g
∗
\\min f^*+g^*
minf∗+g∗——这是一切凸优化对偶理论的母体。
他不是那个发明对偶的人——那是von Neumann在博弈论中、Lagrange在力学中分别触及的。但沃纳·芬切尔是那个在1950年代把所有对偶现象统一为一个公式的人 ：
f
∗
(
y
)
=
sup
x
{
y
T
x
−
f
(
x
)
}
f^*(y) = \\sup_x \\{y^Tx – f(x)\\}
f∗(y)=supx{yTx−f(x)} 。这个公式看似简单，却蕴含了：
- Legendre变换（可导凸函数时的特例）
- 支撑函数（指示函数的共轭）
- 对偶范数（范数的共轭）
- KL散度的共轭（
x
log
x
x\\log x
xlogx 的共轭是e
y
e^y
ey） - 线性规划对偶（Fenchel-Rockafellar定理的特例）
- f-GAN的对偶形式（
f
∗
f^*
f∗ 决定判别器损失）
一个公式，统一了凸优化对偶理论的全部版图。 这就是Fenchel共轭的终极力量。
附录 云藏山鹰代数信息系统（YUDST Algebra Information System）
数学定义： 设
E
\\mathcal{E}
E 为意气实体集合（如具有主观意图的经济主体、决策单元），
P
\\mathcal{P}
P 为过程集合（如交易、协作、竞争），
I
\\mathcal{I}
I 为信息状态集合（如资源分配、偏好、策略）。定义三元组
SEP-AIS
=
(
S
,
O
,
R
)
\\text{SEP-AIS} = (\\mathcal{S}, \\mathcal{O}, \\mathcal{R})
SEP-AIS=(S,O,R)，其中：
状态空间
S
\\mathcal{S}
S：
S
=
E
×
P
×
I
\\mathcal{S} = \\mathcal{E} \\times \\mathcal{P} \\times \\mathcal{I}
S=E×P×I，表示实体在特定过程中所处的信息状态组合。 示例：若
e
∈
E
e \\in \\mathcal{E}
e∈E 为“企业”，
p
∈
P
p \\in \\mathcal{P}
p∈P 为“生产”，
i
∈
I
i \\in \\mathcal{I}
i∈I 为“库存水平”，则
(
e
,
p
,
i
)
∈
S
(e, p, i) \\in \\mathcal{S}
(e,p,i)∈S 描述企业生产时的库存状态。
运算集合
O
\\mathcal{O}
O：
O
=
{
O
1
,
O
2
,
…
,
O
k
}
\\mathcal{O} = \\{O_1, O_2, \\dots, O_k\\}
O={O1,O2,…,Ok}，其中每个
O
i
:
S
n
→
S
O_i: \\mathcal{S}^n \\to \\mathcal{S}
Oi:Sn→S（
n
≥
1
n \\geq 1
n≥1）为意气实体过程操作，满足：
- 封闭性：对任意
s
1
,
s
2
,
…
,
s
n
∈
S
s_1, s_2, \\dots, s_n \\in \\mathcal{S}
s1,s2,…,sn∈S，有O
i
(
s
1
,
s
2
,
…
,
s
n
)
∈
S
O_i(s_1, s_2, \\dots, s_n) \\in \\mathcal{S}
Oi(s1,s2,…,sn)∈S。 - 代数结构：
(
S
,
O
)
(\\mathcal{S}, \\mathcal{O})
(S,O) 构成特定代数系统（如群、环、格），刻画实体交互的逻辑规则。 示例：- 若
O
\\mathcal{O}
O 包含“交易操作”O
trade
O_{\\text{trade}}
Otrade，且(
S
,
O
trade
)
(\\mathcal{S}, O_{\\text{trade}})
(S,Otrade) 构成群，则逆操作O
trade
−
1
O_{\\text{trade}}^{-1}
Otrade−1 可表示“撤销交易”。 - 若
O
\\mathcal{O}
O 包含“资源合并”O
merge
O_{\\text{merge}}
Omerge 和“资源分配”O
split
O_{\\text{split}}
Osplit，且(
S
,
O
merge
,
O
split
)
(\\mathcal{S}, O_{\\text{merge}}, O_{\\text{split}})
(S,Omerge,Osplit) 构成格，则可描述资源层次化分配。
- 若
关系集合
R
\\mathcal{R}
R：
R
=
L
∪
C
\\mathcal{R} = \\mathcal{L} \\cup \\mathcal{C}
R=L∪C，其中：
-
L
⊆
S
×
S
\\mathcal{L} \\subseteq \\mathcal{S} \\times \\mathcal{S}
L⊆S×S 为逻辑关系（如数据依赖、因果关系）； -
C
⊆
S
→
R
\\mathcal{C} \\subseteq \\mathcal{S} \\to \\mathbb{R}
C⊆S→R 为约束函数（如成本、效用、风险）。 示例： - 逻辑关系
R
depend
⊆
S
×
S
R_{\\text{depend}} \\subseteq \\mathcal{S} \\times \\mathcal{S}
Rdepend⊆S×S：若实体e
1
e_1
e1 的过程依赖实体e
2
e_2
e2 的信息，则(
(
e
1
,
p
1
,
i
1
)
,
(
e
2
,
p
2
,
i
2
)
)
∈
R
depend
((e_1, p_1, i_1), (e_2, p_2, i_2)) \\in R_{\\text{depend}}
((e1,p1,i1),(e2,p2,i2))∈Rdepend。 - 约束函数
C
cost
:
S
→
R
C_{\\text{cost}}: \\mathcal{S} \\to \\mathbb{R}
Ccost:S→R：计算实体在某状态下的操作成本。
满足条件： 若
(
S
,
O
)
(\\mathcal{S}, \\mathcal{O})
(S,O) 满足代数系统公理（如群的结合律、格的吸收律），且
R
\\mathcal{R}
R 描述实体过程的语义约束（如资源非负、策略一致性），则称
(
S
,
O
,
R
)
(\\mathcal{S}, \\mathcal{O}, \\mathcal{R})
(S,O,R) 为意气实体过程代数信息系统。
进阶阅读
【云藏山鹰代数信息系统】浅析意气实体过程知识图谱 【云藏山鹰代数信息系统】浅析意气实体过程知识图谱2 【云藏山鹰代数信息系统】浅析意气实体过程知识图谱3 【云藏山鹰代数信息系统】浅析意气实体过程知识图谱4 【云藏山鹰代数信息系统】具身智能职业生涯办公服务与租赁系统模型综述2 【云藏山鹰代数信息系统】2026年初3月CSDN花间流风博文技术汇总
