逻辑回归和SVM的区别是什么？

Question

如题所述

Answer 1

如果从分界面的形状出发，来看待这两种学习模型，那么结果会是下面这样的。 逻辑回归和软间隔SVM(线性核)都是线性分类器，其分界面是超平面(w0 + w1*x1 +...+ wd*xd = 0)，所以两者适用于数据本质上是线性可分或近似线性可分的情形。软间隔SVM(非线性核)是非线性分类器，其分界面是曲面，适用于数据非线性可分的情形。注：作为SVM的原型——硬间隔SVM(线性核)，刚开始只能解决数据线性可分的分类问题。因为引入了核函数，才使得分类器可以解决数据非线性可分的问题。同样的，作为最最简单的神经网络——逻辑回归也只能解决线性分类问题。因为进行了函数的复合，同样使得分类器可以解决数据非线性可分的问题。

Answer 2

首先，优化目标不同。LR的目标函数是logloss，SVM是最大化分类面间距。其次呢是对非线性问题的处理方式不同。LR主要靠特征构造，必须组合交叉特征，特征离散化。SVM也可以这样，还可以通过kernel。最后是处理的数据规模不同。LR一般用来处理大规模的学习问题。如十亿级别的样本，亿级别的特征。但是对计算机来说，归根结底还是优化目标， 也就是损失函数的不同造成两种模型的差异。 LR是logloss, SVM是hinge loss. 我一般将SVM的损失函数理解为最关键的点造成的损失。其他的区别并没有特别重要。

本回答被网友采纳