SVM笔记

栏目: 编程工具 · 发布时间: 6年前

内容简介:目前看来svm是逻辑回归的优化版本,优化了效果和计算量。svm使用了另外一种cost function,他的参数放到了前面,改成了A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0.

基本

目前看来svm是逻辑回归的优化版本,优化了效果和计算量。

svm使用了另外一种cost function,他的参数放到了前面,改成了 C * A + B ,这个C就是参数,相当于以前的 \frac{1}{λ} ,如果C很大,那么就需要让A尽可能的小,那么A要趋近于0.

A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0.

所以svm比逻辑回归效果更好。

svm拥有更大的“间距”,也就是到样本之间的距离更大,这样有更大的对样本的包容性,能够容许未出现的样本有更加大的误差。这也就是有很多人叫svm为大间距分类器的原因。

核函数

就是将原有的变量进行映射的函数,将原有的多个维度的变量,映射为各种结果,例如点乘,平方,多项式等等。好处在于快速且节省空间,方便计算。

高斯核函数,可以将变量升维,升到无限维度,让数据能够在更高维度的时候达到线性可分。

分类与回归

分类使用svm的思想,是在margin中,尽可能少有点,并且距离点尽可能大,而回归问题正好相反,回归的思想是margin中的点尽可能多,相距尽可能小。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

统计学习方法

统计学习方法

李航 / 清华大学出版社 / 2012-3 / 38.00元

详细介绍支持向量机、Boosting、最大熵、条件随机场等十个统计学习方法。一起来看看 《统计学习方法》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

SHA 加密
SHA 加密

SHA 加密工具

html转js在线工具
html转js在线工具

html转js在线工具