内容简介:本系列文章为监督学习算法的定义是,给定一组输入 x 和输出 y,学习如何将其关联起来,现在的大部分情况都是监督学习算法的范畴。很多的监督学习算法是基于估计概率分 布P(y|x) 的,假设参数服从高斯分布,我们可以使用最大似然估计找到对于有参分布族 P(y|x;θ) 最好的参数向量 θ,即用最大似然估计得到目标函数,优化这个目标函数。线性回归对应于高斯分布分布族,通过定义一族不同的概率分布,可将线性回归扩展到分类情况中。
- 本文首发自公众号: RAIS ,点击直接关注。
前言
本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。由于各平台 Markdown 解析差异,有些公式显示效果不好,请到我 个人维护网站 查看。
监督学习算法
监督学习算法的定义是,给定一组输入 x 和输出 y,学习如何将其关联起来,现在的大部分情况都是监督学习算法的范畴。
逻辑回归
很多的监督学习算法是基于估计概率分 布P(y|x) 的,假设参数服从高斯分布,我们可以使用最大似然估计找到对于有参分布族 P(y|x;θ) 最好的参数向量 θ,即用最大似然估计得到目标函数,优化这个目标函数。线性回归对应于高斯分布分布族,通过定义一族不同的概率分布,可将线性回归扩展到分类情况中。
具体的做法就是将线性函数的输出使用 sigmoid 函数(就是前文说的那个样子像 S 型)将其压缩到 (0, 1) 空间内,这就叫做逻辑回归。注意这个逻辑回归不是回归,而是用来解决分类问题。当然,线性回归也可以推广为 Softmax 回归,不是这里的重点。
支持向量机
支持向量机是监督学习中关于分类与回归问题中重要的算法。与逻辑回归类似,这个模型也是基于线性函数的,不过输出有所不同,不输出概率,而是输出类别,为正正类,为负负类。
核技巧,其实这是一个数学上的概念,用来增加维度区分不同数据,如下图,区分下图中左侧的四个点,用的方法是增加一个维度,然后用平面分割,这与用一条曲线去分割没什么本质的区别,来自 视频 :
上面这样做也会有一个问题,在数据量大且维数很多的情况下,会导致计算量急剧增大,这不好。核函数就是用来解决这个问题的,核函数只是用来计算映射到高维空间之后的内积的一种简便方法,隐含着也从低纬到高维的映射,但其计算量可控,降低计算的复杂度,甚至把不可能的计算变为可能,可以将低纬空间内线性不可分的两类点变成线性可分的。
机器学习中最常用的核函数是高斯核(也称径向基函数),N(x;μ,∑) 是标准正态分布,能够把原始特征映射到无穷维,能够比较 u 和 v 的相似度,映射到 0 和 1:
\[k(u,v)=N(u-v;0,\sigma^2I) \]
其他监督学习算法
临近回归:前面介绍过最近临近回归,这也是一种非概率监督学习算法。K-最近邻回归是一种可以用于分类或回归的算法,K-最近邻算法就是从训练集(根本就没训练,感觉叫训练集都不太准确,应该叫样本集)中找到与测试输入的点最近的 K 个点,然后采用少数服从多数的思想,谁多就听谁的(分类),或者求平均(回归),但是这在 K 取值不同的时候,得到的结果可能不同,因此 K 的选择是比较重要的。这个方法的特点是训练集可以趋近于无穷大,在比较好的情况下回收敛到贝叶斯错误率。这个方法需要训练集较大,训练集较少的情况下泛化程度不够好;且其由于几乎没有训练的过程,因此也不能学习出特征中哪些是更有识别力的,无法找到关键属性。
决策树:决策树会将输入空间分成不重叠的子区域,叶节点和输出区域一一对应。构建决策树前需要根据信息增益的方法进行特征选择,然后生成决策树,为防止过拟合可能还需要进行剪枝。
总结
本文介绍了几种最常见的监督学习算法。
- 本文首发自公众号: RAIS ,点击直接关注。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- [译] Python 中的无监督学习算法
- 无监督学习——聚类(clustering)算法应用初探
- 监督式机器学习算法的应用:择时【附源码】
- 基于排序思想的弱监督关系抽取选种与降噪算法
- CurriculumNet:基于大规模网络图像的弱监督学习算法
- 更少的标签,更好的学习,谷歌半监督学习算法FixMatch
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
PHP Hacks
Jack Herrington D. / O'Reilly Media / 2005-12-19 / USD 29.95
Programmers love its flexibility and speed; designers love its accessibility and convenience. When it comes to creating web sites, the PHP scripting language is truly a red-hot property. In fact, PH......一起来看看 《PHP Hacks》 这本书的介绍吧!
RGB HSV 转换
RGB HSV 互转工具
HSV CMYK 转换工具
HSV CMYK互换工具