之前我们进行过 SVM 原理的推导，本文记录 Sklearn 支持向量机库相关内容。

Sklearn 支持向量机库概述

• 我们知道SVM相对感知器而言，它可以解决线性不可分的问题，那么它是如何解决的呢？其思想很简单就是对原始数据的维度变换，一般是扩维变换，使得原样本空间中的样本点线性不可分，但是在变维之后的空间中样本点是线性可分的，然后再变换后的高维空间中进行分类。

• sklearn中SVM的算法库分为两类

  • 分类的算法库，主要包含 LinearSVC，NuSVC 和 SVC 三个类
  • 回归算法库，包含SVR，NuSVR 和 LinearSVR 三个类，相关模块都包裹在 sklearn.svm 模块中。

• 对于SVC，NuSVC 和 LinearSVC 三个分类的库，SVC 和 NuSVC 差不多，区别仅仅在于对损失的度量方式不同，而LinearSVC从名字就可以看出，他是线性分类，也就是不支持各种低维到高维的核函数，仅仅支持线性核函数，对线性不可分的数据不能使用。

• 同样的对于SVR，NuSVR 和 LinearSVR 三个回归的类，SVR 和 NuSVR 差不多，区别也仅仅在于对损失的度量方式不同。LinearSVR 是线性回归，只能使用线性核函数。

• 我们使用这些类的时候，如果有经验知道数据是线性可以拟合的，那么使用 LinearSVC 去分类或者 LinearSVR 去回归，他们不需要我们去慢慢的调参选择各种核函数以及对应的参数，速度也快。如果我们对数据分布没有什么经验，一般使用 SVC 去分类或者 SVR 去回归，这就需要我们选择核函数以及对核函数调参了。

回顾SVM分类算法和回归算法

• 对SVM算法进行回顾，首先对于SVM分类算法，其原始形式如下：

$$ \begin{array}{c} \min \frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{n} \xi_{i} \\ s.t., y_{i}\left(w^{T} x_{i}+b\right) \geq 1-\xi_{i}, i=1, \ldots, n \\ \xi_{i} \geq 0, i=1, \ldots, n \end{array} $$

• 其中 $n$ 为样本个数，我们的样本为$[(x_1, y_1),(x_2，y_2),…,(x_n, y_n)]$, $w,b$是我们的分离超平面的 $w^T \bf {x} + b = 0$ 的系数，$ξ_i$ 为第 $i$ 个样本的松弛系数，$C$ 为惩罚系数，$x_i$ (也有时候写为 $Φ(x_i) $ 为低维到高维的映射函数) 为样本数。
• 通过拉格朗日以及对偶化后的形式为：

$$ \begin{aligned} \max _{\alpha} & \sum_{i=1}^{n} \alpha_{i}-\frac{1}{2} \sum_{i, j=1}^{n} \alpha_{i} \alpha_{j} y_{i} y_{j}\left\langle x_{i}, x_{j}\right\rangle \\ \text { s.t. }, & 0 \leq \alpha_{i} \leq C, i=1, \ldots, n \\ & \sum_{i=1}^{n} \alpha_{i} y_{i}=0 \end{aligned} $$

• 其中和原始形式不同的 $α$ 为拉格朗日系数向量，$<x_i, x_j>$ 为我们要使用的核函数。
• 对于SVM回归算法，（借用刘建平老师的博客），其原始形式如下：

$$ \begin{array}{c} \min \frac{1}{2}\|w\|_{2}^{2}+C \sum_{i=1}^{m}\left(\xi_{i}^{\vee}+\xi_{i}^{\wedge}\right)\\ s.t. \quad-\epsilon-\xi_{i}^{\vee} \leq y_{i}-w \bullet \phi\left(x_{i}\right)-b \leq \epsilon+\xi_{i}^{\wedge} \\ \xi_{i}^{\vee} \geq 0, \quad \xi_{i}^{\wedge} \geq 0(i=1,2, \ldots, m) \end{array} $$

• 其中 $m$ 为样本个数，我们的样本为 $[(x_1, y_1),(x_2，y_2),…,(x_m, y_m)]$, $w，b$ 是我们回归超平面 $w^Tx_i + b = 0$ 的系数，$ξ_v$， $ξ^\vee$ 为第 $i$ 个样本的松弛系数， $C$ 为惩罚系数，$ε$ 为损失边界，到超平面距离小于 $ε$ 的训练集的点没有损失，$Φ(x_i)$ 为低维到高维的映射函数
• 通过拉格朗日函数以及对偶后的形式为：

$$ \begin{array}{c} \underbrace{\min }_{\alpha^{\vee}, \alpha^{\wedge}} \frac{1}{2} \sum_{i=1, j=1}^{m}\left(\alpha_{i}^{\wedge}-\alpha_{i}^{\vee}\right)\left(\alpha_{j}^{\wedge}-\alpha_{j}^{\vee}\right) K\left(x_{i}, x_{j}\right)-\sum_{i=1}^{m}\left(\epsilon-y_{i}\right) \alpha_{i}^{\wedge}+\left(\epsilon+y_{i}\right) \alpha_{i}^{\vee}\\ s.t. \sum_{i=1} ^ {m} (\alpha_{i}^{\wedge}-\alpha_{i} ^ { \vee})=0 \\ 0< \alpha_{i} ^ {\vee} < C(i=1,2, \ldots, m), 0< \alpha_{i} ^ {\wedge} < C(i=1,2, \ldots, m) \end{array} $$

• 其中和原始形式不同的 $α^{\vee}$， $α^{\vee}$ 为拉格朗日系数向量，$K(x_i, x_j)$ 为我们要使用的核函数。

SVM核函数概述

• 我在第二篇SVM中学习了核函数，有好几种，最常用的就是线性核函数，多项式核函数，高斯核函数和Sigmoid核函数，在scikit-learn中，内置的核函数也刚好有这四种。

线性核函数（Linear Kernel）

• 线性核函数表达式为：

$$
\kappa\left(x_{1}, x_{2}\right)=\left\langle x_{1}, x_{2}\right\rangle
$$

• 就是普通的内积，LinearSVC 和 LinearSVR 只能使用它。

多项式核函数（Polynomial Kernel)

• 多项式核函数是线性不可分SVM常用的核函数之一，表达式为：

$$
k\left(x_{i}, x_{j}\right)=\left(x_{i}^{t} x_{j}\right)^{d}, d \geqslant 1
$$

• 参数都需要自己调参定义，比较麻烦。

高斯核函数（Gaussian Kernel）

• 高斯核函数，在 SVM 中也称为 径向基核函数（Radial Basisi Function，RBF），它是 libsvm 默认的核函数，当然也是 sklearn 默认的核函数，表达式为：

$$
k(x, y)=\exp \left(-\gamma|x-y|^{2}\right)
$$

• 其中 $\gamma$ 大于 0，需要自己调参定义，不过一般情况，我们都使用高斯核函数。

Sigmoid核函数（Sigmoid Kernel）

• Sigmoid核函数也是线性不可分SVM常用的核函数之一，表示为：

$$
k\left(x_{i}, x_{j}\right)=\tanh \left(\beta x_{i}^{t} x_{j}+\theta\right), \beta>0
$$

• 其中 $\beta, \theta$ 都需要自己调参定义。

• 一般情况下，对于非线性数据使用默认的高斯核函数会有比较好的效果，如果你不是 SVM 调参高手的话，建议使用高斯核来做数据分析。

SVM分类算法库

• 下面我们将具体介绍这三种分类方法都有那些参数值以及不同参数值的含义。

LinearSVC

• 其函数原型如下：

1
2
3
4
5

class sklearn.svm.LinearSVC(self, 
	penalty='l2', loss='squared_hinge', dual=True, tol=1e-4,
    C=1.0, multi_class='ovr', fit_intercept=True,
    intercept_scaling=1, class_weight=None, verbose=0,
    random_state=None, max_iter=1000)

参数说明

惩罚系数

• 错误项的惩罚系数。C越大，即对分错样本的惩罚程度越大，因此在训练样本中准确率越高，但是泛化能力降低，也就是对测试数据的分类准确率降低。相反，减少C的话，容许训练样本中有一些误分类错误样本，泛化能力强。对于训练样本带有噪音的情况，一般采用后者，把训练样本集中错误分类的样本作为噪音。

NuSVC

• 其函数原型如下：

1
2
3
4

class sklearn.svm.NuSVC(self, nu=0.5, kernel='rbf', degree=3, gamma='auto_deprecated',
             coef0=0.0, shrinking=True, probability=False, tol=1e-3,
             cache_size=200, class_weight=None, verbose=False, max_iter=-1,
             decision_function_shape='ovr', random_state=None)

参数说明

• 常用的核函数有以下几种：

  函数	含义
  linear	线性核函数
  poly	多项式核涵数
  rbf	高斯核函数
  sigmod	sigmod 核函数
  precomputed	自定义核函数

SVC

• 其函数原型如下：

1
2
3
4
5

class sklearn.svm.SVC(self, C=1.0, kernel='rbf', degree=3, gamma='auto_deprecated',
             coef0=0.0, shrinking=True, probability=False,
             tol=1e-3, cache_size=200, class_weight=None,
             verbose=False, max_iter=-1, decision_function_shape='ovr',
             random_state=None)

参数说明

• C：惩罚系数

• SVC 和 NuSVC 方法基本一致，唯一区别就是损失函数的度量方式不同（NuSVC中的nu参数和SVC中的C参数）即SVC使用惩罚系数C来控制惩罚力度，而NuSVC使用nu来控制惩罚力度。

SVM回归算法库

• 下面我们将具体介绍这三种分类方法都有那些参数值以及不同参数值的含义。

LinearSVR

• 其函数原型如下：

1
2
3
4

class sklearn.svm.LinearSVR(self, epsilon=0.0, tol=1e-4, C=1.0,
             loss='epsilon_insensitive', fit_intercept=True,
             intercept_scaling=1., dual=True, verbose=0,
             random_state=None, max_iter=1000)

参数说明

NuSVR

• 其函数原型如下：

1
2
3

class sklearn.svm.NuSVR(self, nu=0.5, C=1.0, kernel='rbf', degree=3,
             gamma='auto_deprecated', coef0=0.0, shrinking=True,
             tol=1e-3, cache_size=200, verbose=False, max_iter=-1)

参数说明

• 常用的核函数有以下几种：

  函数	含义
  linear	线性核函数
  poly	多项式核涵数
  rbf	高斯核函数
  sigmod	sigmod 核函数
  precomputed	自定义核函数

SVR

• 其函数原型如下：

1
2
3

class sklearn.svm.SVC(self, kernel='rbf', degree=3, gamma='auto_deprecated',
             coef0=0.0, tol=1e-3, C=1.0, epsilon=0.1, shrinking=True,
             cache_size=200, verbose=False, max_iter=-1)

参数说明

• SVR 和 NuSVR 方法基本一致，唯一区别就是损失函数的度量方式不同（NuSVR 中的 nu 参数和 SVR 中的 C 参数）即 SVR 使用惩罚系数 C 来控制惩罚力度，而 NuSVR 使用 nu 来控制惩罚力度。

SVM的方法与对象

方法

• 三种分类的方法基本一致：

对象

示例代码

• 示例简单的 svm 训练、测试 demo

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

# import svm
from sklearn import svm
# train data: Feature List
train_data = ...
# test data: Feature List
test_data = ...
# label data: Label List
train_label = ...
# build classifier
predictor = svm.SVC(gamma='scale', C=1.0, decision_function_shape='ovr', kernel='poly',degree=4)
# train
predictor.fit(train_data, train_label)
# test
test_results = predictor.predict(test_data)

参考资料

• https://www.zywvvd.com/notes/study/machine-learning/about-svm/about-svm/
• https://zhuanlan.zhihu.com/p/157732290
• https://blog.csdn.net/BIT_666/article/details/79979580
• https://www.cnblogs.com/tonglin0325/p/6107114.html
• https://cloud.tencent.com/developer/article/1146077
• https://www.cnblogs.com/xiaoyh/p/11604168.html
• https://www.cnblogs.com/pinard/p/6126077.html
• https://www.cnblogs.com/pinard/p/6117515.html

文章链接：
https://www.zywvvd.com/notes/study/machine-learning/about-svm/sklearn-svm/python-svm/