为什么说统计学习理论是支持向量机的理论基础?表现在哪些方面?

Question

如题所述

Answer 1

支持向量机（support vector machines, SVM）是一种二分类模型，所谓二分类模型是指比如有很多特征（自变量X）对另外一个标签项（因变量Y）的分类作用关系，比如当前有很多特征，包括身高、年龄、学历、收入、教育年限等共5项，因变量为‘是否吸烟’，‘是否吸烟’仅包括两项，吸烟和不吸烟。那么该5个特征项对于‘是否吸烟’的分类情况的作用关系研究，则称为‘二分类模型’，但事实上很多时候标签项(因变量Y)有很多个类别，比如某个标签项Y为‘菜系偏好’，中国菜系有很多，包括川菜、鲁菜、粤菜、闽菜、苏菜、浙菜、湘菜和徽菜共计8类，此时则需要进行‘多分类决策函数’转化，简单理解为两两类别（8个中任意选择2）分别建立SVM模型，然后进行组合使用。

机器学习算法常见算法中包括决策树、随机森林、贝叶斯等，上述均有良好的可解释性，比如决策树是将特征按分割点不停地划分出类别，随机森林是多个决策树模型，贝叶斯模型是利用贝叶斯概率原理进行计算。与上述不同，支持向量机模型是利用运筹规划约束求最优解，而此最优解是一个空间平面，此空间平面可以结合特征项，将‘吸烟’和‘不吸烟’两类完全地分开，寻找该空间平面即是支持向量机的核心算法原理。

支持向量机的计算原理复杂，但对其通俗地理解并不复杂，只需要知道其需要求解出‘空间平面’，该‘空间平面’可以把不同的标签项(因变量Y)类别特别明显的划分开即可。类似其它机器学习算法，支持向量机的构建步骤上，一般也需要先对数据进行量纲化处理、设置训练数据和测试数据比例、设置相关参数调优，最终实现在训练数据上有着良好表现，并且测试数据上也有着良好表现即可。

可以使用SPSSAU快速进行操作：

Answer 2

基本概念、泛化性能。
1、基本概念：向量机的理论基本概念的提取和应用，例如核函数和拉格朗日乘子法等，都源于统计学习理论。
2、泛化性能：在模型选择时，向量机的理论使用正则化项来避免过拟合，这是基于统计学习理论的泛化误差分析的重要思想。