统计学习方法 7 SVM


7.1.3 间隔最大化

考虑
$$
max_{w,b} \frac{\gamma}{||w||}
$$

$$
s.t. y_i(w*x_i + b) \geq \gamma
$$

易知间隔$\gamma$对问题求解无影响,即可改写为
$$
min_{w} \frac{1}{2} ||w|| ^2
$$

$$
s.t. y_i(wx_i + b) - 1 \geq 0 , i=1,2,…,N
$$
求得最优解$w^
$和$b^*$后,可以得到解

$$
w^* x + b^=0
$$

$$
f(x)=sign(w^*x+b^)
$$
容易证明这个超平面是唯一的
支持向量:样本点中和超平面最近的样本点称为support vector,即使
$$
y_i(w*x_i+b)-1=0
$$
成立的点
在这两条直线上的点都是支持向量


评论
  TOC