SVM目标函数求解过程

1 引言

经过前面几节内容的介绍，我们已经知道了支持向量机背后的原理。同时，为了求解SVM中的目标函数，笔者还在前面两节内容中陆续介绍了拉格朗日乘数法和对偶性问题。接下来，在这篇文章中将开始正式介绍SVM的求解过程。同时，为了便于各位读者朋友循序渐进的了解整个求解过程，下面笔者会依次先后介绍硬间隔和软间隔中目标函数的求解步骤。

2 构造硬间隔广义拉格朗日函数

由前面几篇文章的内容可知，SVM硬间隔最终的优化目标为[1]

\begin{aligned} & \underset{w,b}{\mathop{\min }}\,\frac{1}{2}||w|{{|}^{2}} \\ & s.t.\ \ {{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)\ge 1,i=1,2,...m \\ \end{aligned}\;\;\;\;\;(1)

由此可以得到广义的拉格朗日函数为

\mathcal{L}(w,b,\alpha )=\frac{1}{2}||w|{{|}^{2}}-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}\left[ {{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)-1 \right] \;\;\;\;\;(2)

${{\alpha }_{i}}\ge 0$ 为拉格朗日乘子，且同时记

{{g}_{i}}(w)=-{{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)+1\le 0\;\;\;\;\;(3)

进一步可得原始问题的对偶优化问题为

{{d}^{*}}=\underset{\alpha ,{{\alpha }_{i}}\ge 0}{\mathop{\max }}\,\underset{w,b}{\mathop{\min }}\,\mathcal{L}(w,b,\alpha )\;\;\;\;\;(4)

$(4)$ 中的顺序进行求解。

$\mathcal{L}$ $W(\alpha )$

$(4)$ $(2)$ $w,b$ 求偏导数并令其为0有

\begin{aligned} & \frac{\partial \mathcal{L}}{\partial w}=w-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}{{x}^{(i)}}=0 \\ & \frac{\partial \mathcal{L}}{\partial b}=-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}=0 \\ \end{aligned}\;\;\;\;\;(5)

进一步有

w=\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}{{x}^{(i)}}\;\;\;\;\;(6)

$w$ $(5)(6)$ $(2)$ 可得

W(\alpha )=\underset{w,b}{\mathop{\min }}\,\mathcal{L}(w,b,\alpha )=\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}\sum\limits_{i,j=1}^{m}{{{y}^{(i)}}}{{y}^{(j)}}{{\alpha }_{i}}{{\alpha }_{j}}{{({{x}^{(i)}})}^{T}}{{x}^{(j)}}\;\;\;\;\;(7)

$(7)$ 的具体步骤为

\begin{aligned} & \mathcal{L}(w,b,\alpha )=\frac{1}{2}{{w}^{T}}w-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}\left[ {{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)-1 \right] \\ & =\frac{1}{2}{{w}^{T}}w-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}{{w}^{T}}{{x}^{(i)}}-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}b+\sum\limits_{i=1}^{m}{{{\alpha }_{i}}} \\ & =\frac{1}{2}{{w}^{T}}w-{{w}^{T}}\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}{{x}^{(i)}}-b\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}+\sum\limits_{i=1}^{m}{{{\alpha }_{i}}} \end{aligned} \;\;\;\;\;(8)

$(5)(6)$ $(8)$ 得

\begin{aligned} & W(\alpha )=\frac{1}{2}{{w}^{T}}w-{{w}^{T}}w+\sum\limits_{i=1}^{m}{{{\alpha }_{i}}} \\ & =\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}{{w}^{T}}w \\ & =\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}\sum\limits_{i,j=1}^{m}{{{\alpha }_{i}}}{{\alpha }_{j}}{{y}^{(i)}}{{y}^{(j)}}{{({{x}^{(i)}})}^{T}}{{x}^{(j)}} \end{aligned}\;\;\;\;\;(9)

$w$ 的解析式。

$\alpha$ $W(\alpha)$ 的极大值

$(7)$ 可以得出如下优化问题

\begin{aligned} & \underset{\alpha }{\mathop{\max }}\,\ W(\alpha )=\underset{\alpha }{\mathop{\max }}\,\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}\sum\limits_{i,j=1}^{m}{{{y}^{(i)}}}{{y}^{(j)}}{{\alpha }_{i}}{{\alpha }_{j}}{{({{x}^{(i)}})}^{T}}{{x}^{(j)}} \\ & s.t.\ \ {{\alpha }_{i}}\ge 0,i=1,...,m \\ & \ \ \ \ \ \sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}=0 \\ \end{aligned}\;\;\;\;\;(10)

$(5)$ $W(\alpha)$ $(5)$ $W(\alpha)$ 存在的前提。

${{\alpha }^{*}}={{(\alpha _{1}^{*},\alpha _{2}^{*},...,\alpha _{m}^{*})}^{T}}$ 为对偶优化问题的解，那么为了使得对偶优化问题与原始优化问题同解需要满足如下KKT条件

\frac{\partial }{\partial w}\mathcal{L}({{w}^{*}},{{b}^{*}},{{\alpha }^{*}})={{w}^{*}}-\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}{{x}^{(i)}}=0\;\;\;\;\;(11)

\frac{\partial }{\partial b}\mathcal{L}({{w}^{*}},{{b}^{*}},{{\alpha }^{*}})=-\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}=0\;\;\;\;\;(12)

\alpha _{i}^{*}{{g}_{i}}({{w}^{*}})=\alpha _{i}^{*}\left[ {{y}^{(i)}}({{w}^{*}}\cdot {{x}^{(i)}}+{{b}^{*}})-1 \right]=0,\ \ \ i=1,2,...,,m\;\;\;\;\;(13)

{{g}_{i}}({{w}^{*}})=-{{y}^{(i)}}({{w}^{*}}\cdot {{x}^{(i)}}+{{b}^{*}})+1\le 0,\ \ i=1,2,...,m\;\;\;\;\;(14)

\alpha _{i}^{*}\ge 0,\ \ i=1,2,...,m\;\;\;\;\;(15)

$(11)$ 可得

{{w}^{*}}=\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}{{x}^{(i)}}\;\;\;\;\;(16)

$(16)$ $\alpha _{j}^{*}>0$ $\alpha_i$ $(16)$ $w^{*}$ 也为0，而这显然不是原始优化问题的解[2]。

$(13)$ $\alpha _{j}^{*}>0$ ，那么必有

{{y}^{(j)}}({{w}^{*}}\cdot {{x}^{(j)}}+{{b}^{*}})=1\;\;\;\;\;(17)

$(17)$ ${{x}^{(j)}}$ 是一个支持向量，而这也显示出的一个重要性质是超平面仅仅与支持向量有关。

$(16)$ $(17)$ ${{({{y}^{(j)}})}^{2}}=1$ 可得

{{b}^{*}}={{y}^{(j)}}-\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}({{x}^{(i)}}\cdot {{x}^{(j)}})\;\;\;\;\;(18)

$(10)$ ${{\alpha }^{*}}$ $(16)$ $(18)$ ${{w}^{*}},{{b}^{*}}$ ；最后即可得到分离超平面。

2.3 硬间隔求解计算示例

${{x}^{(1)}}={{(1,3)}^{T}},{{x}^{(2)}}={{(3,0)}^{T}}$ ${{x}^{(3)}}={{(3,5)}^{T}},{{x}^{(4)}}={{(2,7)}^{T}}$ 为正样本。黑色实现为决策面，黑色虚线为间隔边界，带圈的样本点为支持向量，如图1所示。

图 1. SVM硬间隔示例图

$(10)$ 可知，对偶问题为

\begin{aligned} & \underset{\alpha }{\mathop{\max }}\,\sum\limits_{i=1}^{4}{{{\alpha }_{i}}}-\frac{1}{2}\sum\limits_{i,j=1}^{4}{{{y}^{(i)}}}{{y}^{(j)}}{{\alpha }_{i}}{{\alpha }_{j}}{{({{x}^{(i)}})}^{T}}{{x}^{(j)}} \\ & =({{\alpha }_{1}}+{{\alpha }_{2}}+{{\alpha }_{3}}+{{\alpha }_{4}})-\frac{1}{2}(10\alpha _{1}^{2}+9\alpha _{2}^{2}+34\alpha _{3}^{2}+53\alpha _{4}^{2}+6{{\alpha }_{1}}{{\alpha }_{2}} \\ & -36{{\alpha }_{1}}{{\alpha }_{3}}-46{{\alpha }_{1}}{{\alpha }_{4}}-18{{\alpha }_{2}}{{\alpha }_{3}}-12{{\alpha }_{2}}{{\alpha }_{4}}+82{{\alpha }_{3}}{{\alpha }_{4}}) \\[2ex] & s.t.\ \ {{\alpha }_{i}}\ge 0,\ i=1,2,3,4 \\[1ex] & \ \ \ \ \ \ -{{\alpha }_{1}}-{{\alpha }_{2}}+{{\alpha }_{3}}+{{\alpha }_{4}}=0 \\ \end{aligned}\;\;\;\;\;(19)

注意：

\left\langle x+y,x+y \right\rangle =\left\langle x,x \right\rangle +\left\langle x,y \right\rangle +\left\langle y,x \right\rangle +\left\langle y,y \right\rangle

${{\alpha }_{1}}={{\alpha }_{3}}+{{\alpha }_{4}}-{{\alpha }_{2}}$ ，将其代入目标函数并记为

\begin{aligned} & \varphi ({{\alpha }_{2}},{{\alpha }_{3}},{{\alpha }_{4}})=2{{\alpha }_{3}}+2{{\alpha }_{4}}-\frac{13}{2}\alpha _{2}^{2}-4\alpha _{3}^{2}-\frac{17}{2}\alpha _{4}^{2} \\[1ex] & -2{{\alpha }_{2}}{{\alpha }_{3}}-10{{\alpha }_{2}}{{\alpha }_{4}}-10{{\alpha }_{3}}{{\alpha }_{4}} \end{aligned}\;\;\;\;\;(20)

$\alpha_2, \alpha_3, \alpha_4$ 分别求偏导并令其为0可得

\begin{aligned} & \frac{\partial \varphi }{\partial {{\alpha }_{2}}}=-13{{\alpha }_{2}}-2{{\alpha }_{3}}-10{{\alpha }_{4}}=0 \\ & \frac{\partial \varphi }{\partial {{\alpha }_{3}}}=2-2{{\alpha }_{2}}-8{{\alpha }_{3}}-10{{\alpha }_{4}}=0 \\ & \frac{\partial \varphi }{\partial {{\alpha }_{4}}}=2-10{{\alpha }_{2}}-10{{\alpha }_{3}}-17{{\alpha }_{4}}=0 \\ \end{aligned}\;\;\;\;\;(21)

$(21)$ $(21)$ 中需要考虑如下边界情况：

$\alpha_2=0$ ${{\alpha }_{4}}=-1/9<0$ 不满足式中的约束条件；

$\alpha_3=0$ $\alpha_2<0$ ，也不满足约束条件；

$\alpha_4=0$ 时，根据式中前两个等式求解后发现同样不满足约束条件；

$\alpha_2=0, \alpha_4=0$ ${{\alpha }_{1}}^{*}=0.25,{{\alpha }_{2}}^{*}=0,{{\alpha }_{3}}^{*}=0.25,{{\alpha }_{4}}^{*}=0$ 。对于其它情况，大家可以自行验算。

$(16)$ $w$ 为

{{w}^{*}}=-\frac{1}{4}\cdot (1,3)+\frac{1}{4}\cdot (3,5)=(\frac{1}{2},\frac{1}{2})\;\;\;\;\;(22)

$(18)$ ${{\alpha }_{1}},{{\alpha }_{3}}$ ${{\alpha }_{j}}$ $b$ 为

{{b}^{*}}=-1-(-\frac{1}{4}\cdot 10+\frac{1}{4}\cdot 18)=-3\;\;\;\;\;(23)

最后，可以得到决策面方程为

\frac{1}{2}{{x}_{1}}+\frac{1}{2}{{x}_{2}}-3=0\;\;\;\;\;(24)

3 构造软间隔广义拉格朗日函数

由前面几篇文章的内容可知，SVM软间隔最终的优化目标为

\begin{aligned} & \underset{w,b,\xi }{\mathop{\min }}\,\frac{1}{2}||w|{{|}^{2}}+C\sum\limits_{i=1}^{m}{{{\xi }_{i}}} \\ & s.t.\ \ {{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)\ge 1-{{\xi }_{i}},\ \ {{\xi }_{i}}\ge 0,\ i=1,2,...m \\ \end{aligned} \;\;\;\;\;(25)

由此可以得到广义的拉格朗日函数为

\mathcal{L}(w,b,\xi ,\alpha ,r)=\frac{1}{2}||w|{{|}^{2}}+C\sum\limits_{i=1}^{m}{{{\xi }_{i}}}-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}\left[ {{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)-1+{{\xi }_{i}} \right]-\sum\limits_{i=1}^{m}{{{r}_{i}}{{\xi }_{i}}}\;\;\;\;\;(26)

${{\alpha }_{i}}\ge 0,{{r}_{i}}\ge 0$ 为拉格朗日乘子,且同时记

\begin{aligned} & {{g}_{i}}(w)=-{{y}^{(i)}}({{w}^{T}}{{x}^{(i)}}+b)+1-{{\xi }_{i}}\le 0 \\[1ex] & {{h}_{i}}(\xi )=-{{\xi }_{i}}\le 0;\ \ i=1,2,...,m \\ \end{aligned}\;\;\;\;\;(27)

进一步可以得到原始问题的对偶优化问题为

{{d}^{*}}=\underset{\alpha ,r}{\mathop{\max }}\,\underset{w,b,\xi }{\mathop{\min }}\,\mathcal{L}(w,b,\xi ,\alpha ,r)\;\;\;\;\;(28)

$(28)$ 中的顺序进行。

$w,b,\xi$ $\mathcal{L}$ $W(\alpha,r)$

$(28)$ $w,b,\xi$ 求偏导数并令其为0有

\begin{aligned} & \frac{\partial \mathcal{L}}{\partial w}=w-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}{{x}^{(i)}}=0 \\ & \frac{\partial \mathcal{L}}{\partial b}=-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}=0 \\ & \frac{\partial \mathcal{L}}{\partial {{\xi }_{i}}}=C-{{\alpha }_{i}}-{{r}_{i}}=0 \\ \end{aligned}\;\;\;\;\;(29)

进一步有

w=\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}{{x}^{(i)}}\;\;\;\;\;(30)

\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}=0\;\;\;\;\;(31)

C-{{\alpha }_{i}}-{{r}_{i}}=0\;\;\;\;\;(32)

$(30)(32)$ $(26)$ 有

\begin{aligned} & W(\alpha ,r)=\frac{1}{2}{{w}^{T}}w+C\sum\limits_{i=1}^{m}{{{\xi }_{i}}}-{{w}^{T}}w+\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{\xi }_{i}}-\sum\limits_{i=1}^{m}{{{r}_{i}}}{{\xi }_{i}} \\ & =\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}{{w}^{T}}w+\sum\limits_{i=1}^{m}{{{\xi }_{i}}}\left( C-{{\alpha }_{i}}-{{r}_{i}} \right) \\ & =\sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}{{w}^{T}}w \end{aligned}\;\;\;\;\;(33)

$(33)$ $r$ 已经消去了。

$\alpha$ $W(\alpha)$ 的极大值

$(33)$ $\alpha$ 的极大可以得出如下优化问题

\underset{\alpha }{\mathop{\max }}\,\ W(\alpha )=\underset{\alpha }{\mathop{\max }}\,\ \sum\limits_{i=1}^{m}{{{\alpha }_{i}}}-\frac{1}{2}{{w}^{T}}w\;\;\;\;\;(34)

s.t.\ \sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}=0\;\;\;\;\;(35)

C-{{\alpha }_{i}}-{{r}_{i}}=0,\ \ i=1,2,...,m\;\;\;\;\;(36)

{{\alpha }_{i}}\ge 0,\ \ i=1,2,...,m\;\;\;\;\;(37)

{{r}_{i}}\ge 0,\ \ i=1,2,...,m\;\;\;\;\;(38)

$(38)$ $(36)$ 便可得到化简后的约束条件

0\le {{\alpha }_{i}}\le C\;\;\;\;\;(39)

最后便可得到最终的对偶优化问题

\begin{aligned} & \underset{\alpha }{\mathop{\max }}\,\underset{i=1}{\overset{m}{\mathop \sum }}\,{{\alpha }_{i}}-\frac{1}{2}\sum\limits_{i,j=1}^{m}{{{y}^{(i)}}{{y}^{(j)}}{{\alpha }_{i}}{{\alpha }_{j}}}{{({{x}^{(i)}})}^{T}}{{x}^{(j)}} \\ & s.t.\ \ 0\le {{\alpha }_{i}}\le C,\ i=1,2,...,m \\ & \ \ \ \ \ \ \sum\limits_{i=1}^{m}{{{\alpha }_{i}}}{{y}^{(i)}}=0 \\ \end{aligned}\;\;\;\;\;(40)

$(40)$ 可以发现，SVM软间隔的对偶优化问题同硬硬间隔的对偶优化问题仅仅只是在约束问题上发生了变化。

${{\alpha }^{*}}={{(\alpha _{1}^{*},\alpha _{2}^{*},...,\alpha _{m}^{*})}^{T}}$ 为对偶优化问题的解，那么为了使得对偶优化问题与原始优化问题同解需要满足如下KKT条件

\frac{\partial }{\partial w}\mathcal{L}({{w}^{*}},{{b}^{*}},{{\xi }^{*}},{{\alpha }^{*}},{{r}^{*}})={{w}^{*}}-\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}{{x}^{(i)}}=0\;\;\;\;\;(41)

\frac{\partial }{\partial b}\mathcal{L}({{w}^{*}},{{b}^{*}},{{\xi }^{*}},{{\alpha }^{*}},{{r}^{*}})=-\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}=0\;\;\;\;\;(42)

\frac{\partial }{\partial \xi }\mathcal{L}({{w}^{*}},{{b}^{*}},{{\xi }^{*}},{{\alpha }^{*}},{{r}^{*}})=C-{{\alpha }^{*}}-{{r}^{*}}=0\;\;\;\;\;(43)

\alpha _{i}^{*}{{g}_{i}}({{w}^{*}})=\alpha _{i}^{*}\left[ {{y}^{(i)}}({{w}^{*}}\cdot {{x}^{(i)}}+{{b}^{*}})-1+\xi _{i}^{*} \right]=0,\ \ \ i=1,2,...,,m\;\;\;\;\;(44)

r_{i}^{*}{{h}_{i}}({{\xi }^{*}})=r_{i}^{*}\xi _{i}^{*}=0;\ \ \ i=1,2,...,m\;\;\;\;\;(45)

{{g}_{i}}({{w}^{*}})=-{{y}^{(i)}}({{w}^{*}}\cdot {{x}^{(i)}}+{{b}^{*}})+1-{{\xi }_{i}}^{*}\le 0,\ \ \ i=1,2,...,m\;\;\;\;\;\;(46)

{{h}_{i}}({{\xi }^{*}})=-{{\xi }_{i}}\le 0;\ \ \ i=1,2,...,m\;\;\;\;\;(47)

\alpha _{i}^{*}\ge 0,\ \ r_{i}^{*}\ge 0;\ \ \ i=1,2,...,m\;\;\;\;\;(48)

$(41)$ 可得

{{w}^{*}}=\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}{{x}^{(i)}}\;\;\;\;\;(49)

$(49)$ $0<\alpha _{j}^{*}\le C$ $\alpha_i$ $(49)$ ${{w}^{*}}$ $0<\alpha _{j}^{*}<C$ $(43)$ $r_{j}^{*}>0$ $(45)$ $\xi^{\ast}_j=0$ $(44)$ 可知，此时必有

{{y}^{(j)}}({{w}^{*}}\cdot {{x}^{(j)}}+{{b}^{*}})=1\;\;\;\;\;\;(50)

$(49)$ $(50)$ 可得

{{b}^{*}}={{y}^{(j)}}-\sum\limits_{i=1}^{m}{\alpha _{i}^{*}}{{y}^{(i)}}({{x}^{(i)}}\cdot {{x}^{(j)}})\;\;\;\;\;(51)

$(40)$ ${{\alpha }^{*}}$ $(49)$ $(51)$ ${{w}^{*}},{{b}^{*}}$ ；最后即可得到分离超平面。

3.3 软间隔中的支持向量

${{x}^{(1)}},{{x}^{(3)}}$ 这两个样本点。同时，从硬间隔的定义可以看出，在求解得到决策面后所有样本点的分布只存在两种情况。第一种是位于间隔边界上，而另外一种就是在间隔边界以外。因此，在硬间隔中影响决策面形成的就只有位于间隔边界上的样本点，即支持向量。

$C$ $C$ 可以影响决策面的位置，并且支持向量也不仅仅只会位于间隔边界上，如图2所示。

图 2. 软间隔示例图

${{x}^{(3)}},{{x}^{(5)}}$ ${{x}^{(5)}}$ ${{x}^{(3)}},{{x}^{(5)}}$ ${{x}^{(3)}}$ 这个被错分类的样本点，那么最终得到的决策面会更加趋于水平。

$(43)$ $(46)$ $0<\alpha_i<C$ $\xi_i=0$ ${{x}^{(i)}}$ $\alpha_i=C,0<\xi_i<1$ $x^{(i)}$ $\alpha_i=C,\xi_i=1$ ${{x}^{(i)}}$ $\alpha_i=C,\xi_i>1$ ${{x}^{(i)}}$ 将位于决策面的另一侧[2]。进一步，可以总结得到

\begin{aligned} {{\alpha }_{i}}=0 &\;\;\;\Rightarrow \;\;\;{{y}^{(i)}}({{W}^{T}}{{x}^{(i)}}+b)\ge 1 \\ {{\alpha }_{i}}=C &\;\;\;\Rightarrow \;\;\; {{y}^{(i)}}({{W}^{T}}{{x}^{(i)}}+b)\le 1 \\ 0<{{\alpha }_{i}} < C &#038; \;\;\;\Rightarrow \;\;\;{{y}^{(i)}}({{W}^{T}}{{x}^{(i)}}+b)=1 \\ \end{aligned}\;\;\;\;\;(52)

4 总结

$\mathcal{L}(w,b,\alpha)$ $w$ $w$ 的表达式也是理解SVM核函数的关键；然后介绍了以一个实际的示例介绍了SVM硬间隔的求解过程；最后，笔者还介绍了如何构造软间隔中的拉格朗日函数以及软间隔中的支持向量，而SVM软间隔的实际求解过程将在下一篇文章中进行介绍。

本次内容就到此结束，感谢您的阅读！如果你觉得上述内容对你有所帮助，欢迎分享至一位你的朋友！若有任何疑问与建议，请添加笔者微信'nulls8'或加群进行交流。青山不改，绿水长流，我们月来客栈见！

引用

[1] Andrew Ng, Machine Learning, Stanford University, CS229, Spring 2019.

[2] 李航，统计机器学习，清华大学出版社

SVM目标函数求解过程

于2021年8月31日2021年8月31日由空字符发布

1 引言

2 构造硬间隔广义拉格朗日函数

$\mathcal{L}$ $W(\alpha )$

$\alpha$ $W(\alpha)$ 的极大值

2.3 硬间隔求解计算示例

3 构造软间隔广义拉格朗日函数

$w,b,\xi$ $\mathcal{L}$ $W(\alpha,r)$

$\alpha$ $W(\alpha)$ 的极大值

3.3 软间隔中的支持向量

4 总结

引用

Sklearn学习指南

详解机器学习中的Precision-Recall曲线

Sklearn学习指南

集成学习与随机森林

机器学习

CART生成与剪枝算法

SVM目标函数求解过程

于2021年8月31日2021年8月31日由 空字符 发布

1 引言

2 构造硬间隔广义拉格朗日函数

2.1 关于参数w,b求\mathcal{L}的极小值W(\alpha )

2.2 关于参数\alpha求W(\alpha)的极大值

2.3 硬间隔求解计算示例

3 构造软间隔广义拉格朗日函数

3.1 关于参数w,b,\xi求\mathcal{L}的极小值W(\alpha,r)

3.2 关于参数\alpha求W(\alpha)的极大值

3.3 软间隔中的支持向量

4 总结

引用

相关文章

Sklearn学习指南

详解机器学习中的Precision-Recall曲线

Sklearn学习指南

集成学习与随机森林

机器学习

CART生成与剪枝算法

于2021年8月31日2021年8月31日由空字符发布

$\mathcal{L}$ $W(\alpha )$

$\alpha$ $W(\alpha)$ 的极大值

$w,b,\xi$ $\mathcal{L}$ $W(\alpha,r)$

$\alpha$ $W(\alpha)$ 的极大值