SVM笔记

栏目: 编程工具 · 发布时间: 7年前

内容简介:目前看来svm是逻辑回归的优化版本,优化了效果和计算量。svm使用了另外一种cost function,他的参数放到了前面,改成了A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0.

基本

目前看来svm是逻辑回归的优化版本,优化了效果和计算量。

svm使用了另外一种cost function,他的参数放到了前面,改成了 C * A + B ,这个C就是参数,相当于以前的 \frac{1}{λ} ,如果C很大,那么就需要让A尽可能的小,那么A要趋近于0.

A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0.

所以svm比逻辑回归效果更好。

svm拥有更大的“间距”,也就是到样本之间的距离更大,这样有更大的对样本的包容性,能够容许未出现的样本有更加大的误差。这也就是有很多人叫svm为大间距分类器的原因。

核函数

就是将原有的变量进行映射的函数,将原有的多个维度的变量,映射为各种结果,例如点乘,平方,多项式等等。好处在于快速且节省空间,方便计算。

高斯核函数,可以将变量升维,升到无限维度,让数据能够在更高维度的时候达到线性可分。

分类与回归

分类使用svm的思想,是在margin中,尽可能少有点,并且距离点尽可能大,而回归问题正好相反,回归的思想是margin中的点尽可能多,相距尽可能小。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Tagging

Tagging

Gene Smith / New Riders / 2007-12-27 / GBP 28.99

Tagging is fast becoming one of the primary ways people organize and manage digital information. Tagging complements traditional organizational tools like folders and search on users desktops as well ......一起来看看 《Tagging》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具