SVM笔记

栏目: 编程工具 · 发布时间: 7年前

内容简介:目前看来svm是逻辑回归的优化版本,优化了效果和计算量。svm使用了另外一种cost function,他的参数放到了前面,改成了A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0.

基本

目前看来svm是逻辑回归的优化版本,优化了效果和计算量。

svm使用了另外一种cost function,他的参数放到了前面,改成了 C * A + B ,这个C就是参数,相当于以前的 \frac{1}{λ} ,如果C很大,那么就需要让A尽可能的小,那么A要趋近于0.

A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0.

所以svm比逻辑回归效果更好。

svm拥有更大的“间距”,也就是到样本之间的距离更大,这样有更大的对样本的包容性,能够容许未出现的样本有更加大的误差。这也就是有很多人叫svm为大间距分类器的原因。

核函数

就是将原有的变量进行映射的函数,将原有的多个维度的变量,映射为各种结果,例如点乘,平方,多项式等等。好处在于快速且节省空间,方便计算。

高斯核函数,可以将变量升维,升到无限维度,让数据能够在更高维度的时候达到线性可分。

分类与回归

分类使用svm的思想,是在margin中,尽可能少有点,并且距离点尽可能大,而回归问题正好相反,回归的思想是margin中的点尽可能多,相距尽可能小。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

机器学习实战

机器学习实战

Peter Harrington / 李锐、李鹏、曲亚东、王斌 / 人民邮电出版社 / 2013-6 / 69.00元

机器学习是人工智能研究领域中一个极其重要的研究方向,在现今的大数据时代背景下,捕获数据并从中萃取有价值的信息或模式,成为各行业求生存、谋发展的决定性手段,这使得这一过去为分析师和数学家所专属的研究领域越来越为人们所瞩目。 本书第一部分主要介绍机器学习基础,以及如何利用算法进行分类,并逐步介绍了多种经典的监督学习算法,如k近邻算法、朴素贝叶斯算法、Logistic回归算法、支持向量机、AdaB......一起来看看 《机器学习实战》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具