内容简介：第一时间获取好内容
点击上方“ 大数据与人工智能 ”，“星标或置顶公众号”
第一时间获取好内容
作者丨stephenDC
这是作者的第 6 篇文章
本文想讨论的是稀疏核机，包括稀疏性和核方法两个方面。
提起机器学习中模型的稀疏性，估计很多人第一时间想到的是 L1正则 。但这里说的稀疏性，不是指L1产生的稀疏特征，而是指有些模型的预测推断只依赖于训练集中少量的样本点。
核方法，和基函数方法一样，是对线性模型进行容量扩展的重要手段，但核方法通用性更好且会带来计算上的优势。
不过，作者发现想讨论稀疏核机，需要先回顾一下SVM的导出 。
不仅因为从SVM可以方便地引出稀疏核机，还因为只有在同一语境之下（相同的符号和公式表达），才更容易把问题跟说明清楚。
因此，本文先试图把一些相关概念讲清楚，下一篇文章会基于这些概念进行引申推广。
最优分隔超平面问题
模型建立
优化问题
松弛变量的引入
下图是松弛变量情形下的分类示意：
SVM的计算
本文帮大家回顾一下SVM的导出过程，介绍了以下相关概念：
1) Margin
2) 最优分隔超平面
3) 松弛变量
4) SVM的带约束优化问题
5) SVM的拉格朗日对偶问题
下篇文章，我们将基于这些基础概念继续讨论稀疏核机，重点说明稀疏性和核方法，敬请期待。
-end-
相关内容阅读
4.极大似然估计、极大后验估计和贝叶斯估计
以上所述就是小编给大家介绍的《稀疏核机（上）：SVM 回顾》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
