【机器学习教程】第07章：支持向量机 (SVM)

第07章：支持向量机 (SVM)

“Nothing is more practical than a good theory.” —— Vladimir Vapnik

重要提示：如果说感知机是神经网络的始祖，那么支持向量机 (SVM) 就是统计学习理论的皇冠。

在深度学习爆发之前的二十年里，SVM 统治着机器学习的世界。它的强大不仅仅在于分类效果，更在于其背后坚如磐石的数学理论——VC 维理论和结构风险最小化。

本章我们将见证一个算法如何将几何直觉（最大间隔）转化为一个凸优化问题，并通过对偶性（Duality）巧妙地通过"支持向量"来稀疏化模型。这不仅是一个算法，这是数学美学的典范。

目录

• 一、引言：感知机的遗憾
• 二、几何间隔 (Margin)：最宽的分界线
  • 2.1 函数间隔 vs 几何间隔
  • 2.2 最大化间隔的数学表达
  • 2.3 为什么最大化间隔等价于最小化 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$
• 三、对偶问题 (Duality)：优雅的转换
  • 3.1 为何要对偶？
  • 3.2 Lagrange 函数构建
  • 3.3 对偶问题推导
  • 3.4 KKT 条件与支持向量
  • 3.5 对偶问题的物理意义
• 四、软间隔 (Soft Margin)：拥抱不完美
  • 4.1 现实世界并不完美
  • 4.2 引入松弛变量 $\xi$
  • 4.3 软间隔的对偶问题
  • 4.4 Hinge Loss：打通优化视角
  • 4.5 SVM = Hinge Loss + L2 正则化
• 五、SMO 算法：高效求解对偶问题
• 六、本章小结
• 七、推荐阅读

一、引言：感知机的遗憾

在第6章中，我们学习了感知机算法。Novikoff 定理保证了只要数据线性可分，感知机就一定能找到一个分离超平面。但这个定理也暴露了一个致命的问题：

感知机的解不唯一！

对于同一个数据集，根据样本访问顺序和初始化的不同，感知机可能收敛到完全不同的超平面。这些超平面虽然都能正确分类训练数据，但它们的泛化能力可能天差地别。

核心洞见：我们不仅要找一个"能分开"的超平面，更要找"分得最宽"的那个！

这就是 最大间隔 (Maximum Margin) 的思想——SVM 的灵魂。

二、几何间隔 (Margin)：最宽的分界线

2.1 函数间隔 vs 几何间隔

给定训练样本

(

x

i

,

y

i

)

(\\mathbf{x}_i, y_i)

(xi​,yi​) 和超平面

(

w

,

b

)

(\\mathbf{w}, b)

(w,b)，我们定义：

函数间隔 (Functional Margin)：

γ

^

i

=

y

i

(

w

T

x

i

+

b

)

\\hat{\\gamma}_i = y_i (\\mathbf{w}^T \\mathbf{x}_i + b)

γ^​i​=yi​(wTxi​+b)

物理意义：

• 如果 $y_i=+1$
• 如果 $y_i=-1$
• ${\hat{\gamma }}_i$

但函数间隔有个致命问题：它不具有尺度不变性。如果我们把

(

w

,

b

)

(\\mathbf{w}, b)

(w,b) 同时放大 2 倍，超平面没有变化，但函数间隔翻倍了！

几何间隔 (Geometric Margin)：

γ

i

=

y

i

(

w

T

x

i

+

b

)

∥

w

∥

=

γ

^

i

∥

w

∥

\\gamma_i = \\frac{y_i (\\mathbf{w}^T \\mathbf{x}_i + b)}{\\|\\mathbf{w}\\|} = \\frac{\\hat{\\gamma}_i}{\\|\\mathbf{w}\\|}

γi​=∥w∥yi​(wTxi​+b)​=∥w∥γ^​i​​

这正是样本点

x

i

\\mathbf{x}_i

xi​ 到超平面的带符号距离 (Signed Distance)。

关键：几何间隔具有尺度不变性——

(

w

,

b

)

(\\mathbf{w}, b)

(w,b) 放大

k

k

k 倍，

γ

i

\\gamma_i

γi​ 不变。

对于整个数据集，定义间隔 (Margin) 为所有样本中的最小几何间隔：

γ

=

min

⁡

i

=

1

,

…

,

N

γ

i

=

min

⁡

i

=

1

,

…

,

N

y

i

(

w

T

x

i

+

b

)

∥

w

∥

\\gamma = \\min_{i=1,\\dots,N} \\gamma_i = \\min_{i=1,\\dots,N} \\frac{y_i (\\mathbf{w}^T \\mathbf{x}_i + b)}{\\|\\mathbf{w}\\|}

γ=i=1,…,Nmin​γi​=i=1,…,Nmin​∥w∥yi​(wTxi​+b)​

2.2 最大化间隔的数学表达

SVM 的核心思想是：找到使间隔最大的超平面。

max

⁡

w

,

b

γ

s.t.

y

i

(

w

T

x

i

+

b

)

∥

w

∥

≥

γ

,

i

=

1

,

…

,

N

\\begin{aligned} \\max_{\\mathbf{w}, b} \\quad & \\gamma \\\\ \\text{s.t.} \\quad & \\frac{y_i (\\mathbf{w}^T \\mathbf{x}_i + b)}{\\|\\mathbf{w}\\|} \\geq \\gamma, \\quad i = 1, \\dots, N \\end{aligned}

w,bmax​s.t.​γ∥w∥yi​(wTxi​+b)​≥γ,i=1,…,N​

等价于：

max

⁡

w

,

b

γ

∥

w

∥

s.t.

y

i

(

w

T

x

i

+

b

)

≥

γ

^

,

i

=

1

,

…

,

N

\\begin{aligned} \\max_{\\mathbf{w}, b} \\quad & \\frac{\\gamma}{\\|\\mathbf{w}\\|} \\\\ \\text{s.t.} \\quad & y_i (\\mathbf{w}^T \\mathbf{x}_i + b) \\geq \\hat{\\gamma}, \\quad i = 1, \\dots, N \\end{aligned}

w,bmax​s.t.​∥w∥γ​yi​(wTxi​+b)≥γ^​,i=1,…,N​

这里

γ

^

=

γ

∥

w

∥

\\hat{\\gamma} = \\gamma \\|\\mathbf{w}\\|

γ^​=γ∥w∥ 是函数间隔。

2.3 为什么最大化间隔等价于最小化 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$

核心问题：如何把上面的优化问题转化为标准形式？

Step 1：利用尺度不变性

由于

(

w

,

b

)

(\\mathbf{w}, b)

(w,b) 放大

k

k

k 倍不改变超平面，我们可以固定函数间隔

γ

^

=

1

\\hat{\\gamma} = 1

γ^​=1。这是一个技巧性的约定，但不失一般性。

关键洞见：此时几何间隔变为

γ

=

γ

^

∥

w

∥

=

1

∥

w

∥

\\gamma = \\frac{\\hat{\\gamma}}{\\|\\mathbf{w}\\|} = \\frac{1}{\\|\\mathbf{w}\\|}

γ=∥w∥γ^​​=∥w∥1​ 因此，最大化间隔

γ

\\gamma

γ 就等价于最大化

1

∥

w

∥

\\frac{1}{\\|\\mathbf{w}\\|}

∥w∥1​，也就是最小化

∥

w

∥

\\|\\mathbf{w}\\|

∥w∥！

此时问题变为：

max

⁡

w

,

b

1

∥

w

∥

s.t.

y

i

(

w

T

x

i

+

b

)

≥

1

,

i

=

1

,

…

,

N

\\begin{aligned} \\max_{\\mathbf{w}, b} \\quad & \\frac{1}{\\|\\mathbf{w}\\|} \\\\ \\text{s.t.} \\quad & y_i (\\mathbf{w}^T \\mathbf{x}_i + b) \\geq 1, \\quad i = 1, \\dots, N \\end{aligned}

w,bmax​s.t.​∥w∥1​yi​(wTxi​+b)≥1,i=1,…,N​

Step 2：转化为最小化问题

最大化

1

∥

w

∥

\\frac{1}{\\|\\mathbf{w}\\|}

∥w∥1​ 等价于最小化

∥

w

∥

\\|\\mathbf{w}\\|

∥w∥，进一步等价于最小化

∥

w

∥

2

\\|\\mathbf{w}\\|^2

∥w∥2（平方不改变单调性，但使问题可微）：

min

⁡

w

,

b

1

2

∥

w

∥

2

s.t.

y

i

(

w

T

x

i

+

b

)

≥

1

,

i

=

1

,

…

,

N

\\begin{aligned} \\min_{\\mathbf{w}, b} \\quad & \\frac{1}{2} \\|\\mathbf{w}\\|^2 \\\\ \\text{s.t.} \\quad & y_i (\\mathbf{w}^T \\mathbf{x}_i + b) \\geq 1, \\quad i = 1, \\dots, N \\end{aligned}

w,bmin​s.t.​21​∥w∥2yi​(wTxi​+b)≥1,i=1,…,N​

为什么加系数

1

2

\\frac{1}{2}

21​？

纯粹是为了求导方便：

d

d

w

1

2

∥

w

∥

2

=

w

\\frac{d}{dw} \\frac{1}{2}\\|\\mathbf{w}\\|^2 = \\mathbf{w}

dwd​21​∥w∥2=w，不需要系数 2。

推导小结：

最大化间隔

⇔

max

⁡

1

∥

w

∥

⇔

min

⁡

∥

w

∥

⇔

min

⁡

1

2

∥

w

∥

2

\\boxed{ \\begin{aligned} \\text{最大化间隔} \\quad & \\Leftrightarrow \\quad \\max \\frac{1}{\\|\\mathbf{w}\\|} \\\\ & \\Leftrightarrow \\quad \\min \\|\\mathbf{w}\\| \\\\ & \\Leftrightarrow \\quad \\min \\frac{1}{2} \\|\\mathbf{w}\\|^2 \\end{aligned} }

最大化间隔​⇔max∥w∥1​⇔min∥w∥⇔min21​∥w∥2​​

这个优化问题称为 硬间隔 SVM (Hard-Margin SVM) 的原始问题 (Primal Problem)。

几何直觉：

• 约束条件 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$
• 最小化 $\Vert \mathbf{w}{\Vert }^2$
• 图中绿色圆圈标记的点是支持向量，它们恰好落在间隔边界上

三、对偶问题 (Duality)：优雅的转换

3.1 为何要对偶？

原始问题已经是一个凸二次规划 (Convex QP)，可以直接求解。那为什么还要转换到对偶问题呢？

两大理由：

3.2 Lagrange 函数构建

对于带不等式约束的优化问题：

min

⁡

w

,

b

1

2

∥

w

∥

2

s.t.

1

−

y

i

(

w

T

x

i

+

b

)

≤

0

,

i

=

1

,

…

,

N

\\begin{aligned} \\min_{\\mathbf{w}, b} \\quad & \\frac{1}{2} \\|\\mathbf{w}\\|^2 \\\\ \\text{s.t.} \\quad & 1 – y_i (\\mathbf{w}^T \\mathbf{x}_i + b) \\leq 0, \\quad i = 1, \\dots, N \\end{aligned}

w,bmin​s.t.​21​∥w∥21−yi​(wTxi​+b)≤0,i=1,…,N​

引入 Lagrange 乘子

α

i

≥

0

\\alpha_i \\geq 0

αi​≥0，构造 Lagrange 函数：

L

(

w

,

b

,

α

)

=

1

2

∥

w

∥

2

−

∑

i

=

1

N

α

i

[

y

i

(

w

T

x

i

+

b

)

−

1

]

L(\\mathbf{w}, b, \\alpha) = \\frac{1}{2} \\|\\mathbf{w}\\|^2 – \\sum_{i=1}^N \\alpha_i \\left[ y_i (\\mathbf{w}^T \\mathbf{x}_i + b) – 1 \\right]

L(w,b,α)=21​∥w∥2−i=1∑N​αi​[yi​(wTxi​+b)−1]

物理意义：

• $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$
• $-{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]$

3.3 对偶问题推导

根据 Lagrange 对偶理论，原始问题等价于：

min

⁡

w

,

b

max

⁡

α

i

≥

0

L

(

w

,

b

,

α

)

\\min_{\\mathbf{w}, b} \\max_{\\alpha_i \\geq 0} L(\\mathbf{w}, b, \\alpha)

w,bmin​αi​≥0max​L(w,b,α)

对偶问题是：

max

⁡

α

i

≥

0

min

⁡

w

,

b

L

(

w

,

b

,

α

)

\\max_{\\alpha_i \\geq 0} \\min_{\\mathbf{w}, b} L(\\mathbf{w}, b, \\alpha)

αi​≥0max​w,bmin​L(w,b,α)

强对偶性：对于凸优化问题且满足 Slater 条件（存在严格可行解），强对偶性成立，即两者最优值相等。SVM 满足这些条件。

Step 1：对

w

\\mathbf{w}

w 和

b

b

b 求偏导

∂

L

∂

w

=

w

−

∑

i

=

1

N

α

i

y

i

x

i

=

0

∂

L

∂

b

=

−

∑

i

=

1

N

α

i

y

i

=

0

\\begin{aligned} \\frac{\\partial L}{\\partial \\mathbf{w}} &= \\mathbf{w} – \\sum_{i=1}^N \\alpha_i y_i \\mathbf{x}_i = 0 \\\\ \\frac{\\partial L}{\\partial b} &= -\\sum_{i=1}^N \\alpha_i y_i = 0 \\end{aligned}

∂w∂L​∂b∂L​​=w−i=1∑N​αi​yi​xi​=0=−i=1∑N​αi​yi​=0​

得到：

w

=

∑

i

=

1

N

α

i

y

i

x

i

∑

i

=

1

N

α

i

y

i

=

0

\\boxed{ \\begin{aligned} \\mathbf{w} &= \\sum_{i=1}^N \\alpha_i y_i \\mathbf{x}_i \\\\ \\sum_{i=1}^N \\alpha_i y_i &= 0 \\end{aligned} }

wi=1∑N​αi​yi​​=i=1∑N​αi​yi​xi​=0​​

核心洞见：最优权重

w

\\mathbf{w}

w 是训练样本的线性组合！系数

α

i

\\alpha_i

αi​ 衡量样本

i

i

i 的"重要性"。

Step 2：代入 Lagrange 函数

将

w

=

∑

i

=

1

N

α

i

y

i

x

i

\\mathbf{w} = \\sum_{i=1}^N \\alpha_i y_i \\mathbf{x}_i

w=∑i=1N​αi​yi​xi​ 代入

L

(

w

,

b

,

α

)

L(\\mathbf{w}, b, \\alpha)

L(w,b,α)：

L

=

1

2

∥

∑

i

=

1

N

α

i

y

i

x

i

∥

2

−

∑

i

=

1

N

α

i

y

i

(

∑

j

=

1

N

α

j

y

j

x

j

T

x

i

+

b

)

+

∑

i

=

1

N

α

i

\\begin{aligned} L &= \\frac{1}{2} \\left\\| \\sum_{i=1}^N \\alpha_i y_i \\mathbf{x}_i \\right\\|^2 – \\sum_{i=1}^N \\alpha_i y_i \\left( \\sum_{j=1}^N \\alpha_j y_j \\mathbf{x}_j^T \\mathbf{x}_i + b \\right) + \\sum_{i=1}^N \\alpha_i \\end{aligned}

L​=21​

​i=1∑N​αi​yi​xi​

​2−i=1∑N​αi​yi​(j=1∑N​αj​yj​xjT​xi​+b)+i=1∑N​αi​​

展开第一项：

∥

∑

i

=

1

N

α

i

y

i

x

i

∥

2

=

∑

i

=

1

N

∑

j

=

1

N

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

\\left\\| \\sum_{i=1}^N \\alpha_i y_i \\mathbf{x}_i \\right\\|^2 = \\sum_{i=1}^N \\sum_{j=1}^N \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j)

​i=1∑N​αi​yi​xi​

​2=i=1∑N​j=1∑N​αi​αj​yi​yj​(xiT​xj​)

展开第二项：

∑

i

=

1

N

α

i

y

i

∑

j

=

1

N

α

j

y

j

x

j

T

x

i

=

∑

i

=

1

N

∑

j

=

1

N

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

\\sum_{i=1}^N \\alpha_i y_i \\sum_{j=1}^N \\alpha_j y_j \\mathbf{x}_j^T \\mathbf{x}_i = \\sum_{i=1}^N \\sum_{j=1}^N \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j)

i=1∑N​αi​yi​j=1∑N​αj​yj​xjT​xi​=i=1∑N​j=1∑N​αi​αj​yi​yj​(xiT​xj​)

第二项中的

b

b

b 项：

∑

i

=

1

N

α

i

y

i

b

=

b

∑

i

=

1

N

α

i

y

i

=

0

(由约束 

∑

i

α

i

y

i

=

0

)

\\sum_{i=1}^N \\alpha_i y_i b = b \\sum_{i=1}^N \\alpha_i y_i = 0 \\quad \\text{(由约束 $\\sum_i \\alpha_i y_i = 0$)}

i=1∑N​αi​yi​b=bi=1∑N​αi​yi​=0(由约束 ∑i​αi​yi​=0)

因此：

L

=

1

2

∑

i

,

j

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

−

∑

i

,

j

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

+

∑

i

α

i

L = \\frac{1}{2} \\sum_{i,j} \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j) – \\sum_{i,j} \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j) + \\sum_i \\alpha_i

L=21​i,j∑​αi​αj​yi​yj​(xiT​xj​)−i,j∑​αi​αj​yi​yj​(xiT​xj​)+i∑​αi​

=

∑

i

=

1

N

α

i

−

1

2

∑

i

=

1

N

∑

j

=

1

N

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

= \\sum_{i=1}^N \\alpha_i – \\frac{1}{2} \\sum_{i=1}^N \\sum_{j=1}^N \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j)

=i=1∑N​αi​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​(xiT​xj​)

对偶问题 (Dual Problem)：

max

⁡

α

∑

i

=

1

N

α

i

−

1

2

∑

i

=

1

N

∑

j

=

1

N

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

s.t.

∑

i

=

1

N

α

i

y

i

=

0

α

i

≥

0

,

i

=

1

,

…

,

N

\\boxed{ \\begin{aligned} \\max_{\\alpha} \\quad & \\sum_{i=1}^N \\alpha_i – \\frac{1}{2} \\sum_{i=1}^N \\sum_{j=1}^N \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j) \\\\ \\text{s.t.} \\quad & \\sum_{i=1}^N \\alpha_i y_i = 0 \\\\ & \\alpha_i \\geq 0, \\quad i = 1, \\dots, N \\end{aligned} }

αmax​s.t.​i=1∑N​αi​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​(xiT​xj​)i=1∑N​αi​yi​=0αi​≥0,i=1,…,N​​

或者写成最小化形式：

min

⁡

α

1

2

∑

i

=

1

N

∑

j

=

1

N

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

−

∑

i

=

1

N

α

i

s.t.

∑

i

=

1

N

α

i

y

i

=

0

α

i

≥

0

,

i

=

1

,

…

,

N

\\boxed{ \\begin{aligned} \\min_{\\alpha} \\quad & \\frac{1}{2} \\sum_{i=1}^N \\sum_{j=1}^N \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j) – \\sum_{i=1}^N \\alpha_i \\\\ \\text{s.t.} \\quad & \\sum_{i=1}^N \\alpha_i y_i = 0 \\\\ & \\alpha_i \\geq 0, \\quad i = 1, \\dots, N \\end{aligned} }

αmin​s.t.​21​i=1∑N​j=1∑N​αi​αj​yi​yj​(xiT​xj​)−i=1∑N​αi​i=1∑N​αi​yi​=0αi​≥0,i=1,…,N​​

3.4 KKT 条件与支持向量

对于最优解

(

w

∗

,

b

∗

,

α

∗

)

(\\mathbf{w}^*, b^*, \\alpha^*)

(w∗,b∗,α∗)，必须满足 KKT (Karush-Kuhn-Tucker) 条件：

互补松弛性的物理意义：

这个条件将样本分为两类：

• α

  i

  ∗

  =

  0

  \\alpha_i^* = 0

  αi∗​=0：样本

  i

  i

  i 的约束不起作用，

  y

  i

  (

  w

  ∗

  T

  x

  i

  +

  b

  ∗

  )

  >

  1

  y_i (\\mathbf{w}^{*T} \\mathbf{x}_i + b^*) > 1

  yi​(w∗Txi​+b∗)>1（点在间隔边界外侧）

  • 这些点对模型没有贡献（${\mathbf{w}}^{\ast }=\sum {\alpha }_i{y}_i{\mathbf{x}}_i$
  • 可以删除这些样本，模型不变

• α

  i

  ∗

  >

  0

  \\alpha_i^* > 0

  αi∗​>0：必须

  y

  i

  (

  w

  ∗

  T

  x

  i

  +

  b

  ∗

  )

  =

  1

  y_i (\\mathbf{w}^{*T} \\mathbf{x}_i + b^*) = 1

  yi​(w∗Txi​+b∗)=1（点恰好在间隔边界上）

  • 这些点称为 支持向量 (Support Vectors)
  • 它们"支撑"着分离超平面，决定了间隔的大小
  • 移动支持向量会改变超平面，移动其他点则不会

支持向量的稀疏性：

在实践中，通常只有很少一部分样本是支持向量（

α

i

>

0

\\alpha_i > 0

αi​>0）。这带来两大好处：

比喻：在一群人中选代表投票，只有站在边界上的人（支持向量）有投票权，远离边界的人可以回家睡觉了。

3.5 对偶问题的物理意义

让我们重新审视对偶问题的目标函数：

max

⁡

α

∑

i

=

1

N

α

i

−

1

2

∑

i

,

j

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

\\max_{\\alpha} \\quad \\sum_{i=1}^N \\alpha_i – \\frac{1}{2} \\sum_{i,j} \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j)

αmax​i=1∑N​αi​−21​i,j∑​αi​αj​yi​yj​(xiT​xj​) 第一项

∑

i

α

i

\\sum_i \\alpha_i

∑i​αi​：

• 鼓励 ${\alpha }_i$
• 物理意义：每个样本都"想要"贡献更多权重

第二项

−

1

2

∑

i

,

j

α

i

α

j

y

i

y

j

(

x

i

T

x

j

)

-\\frac{1}{2} \\sum_{i,j} \\alpha_i \\alpha_j y_i y_j (\\mathbf{x}_i^T \\mathbf{x}_j)

−21​∑i,j​αi​αj​yi​yj​(xiT​xj​)：

• 惩罚同类样本之间的权重组合（$y_i=y_j$
• 鼓励异类样本之间的权重组合（$y_i\ne y_j$
• 物理意义：模型倾向于选择"有代表性"的样本（不重复、分散）

约束

∑

i

α

i

y

i

=

0

\\sum_i \\alpha_i y_i = 0

∑i​αi​yi​=0：

• 正负样本的权重必须平衡
• 防止模型偏向某一类

计算

b

∗

b^*

b∗：

对于任意支持向量

x

s

\\mathbf{x}_s

xs​（满足

α

s

>

0

\\alpha_s > 0

αs​>0），有：

y

s

(

w

∗

T

x

s

+

b

∗

)

=

1

y_s (\\mathbf{w}^{*T} \\mathbf{x}_s + b^*) = 1

ys​(w∗Txs​+b∗)=1