内容简介：第一时间获取好内容
点击上方“ 大数据与人工智能 ”，“星标或置顶公众号”
第一时间获取好内容
作者丨stephenDC
这是作者的第 9 篇文章
马尔科夫不等式、霍夫丁不等式和詹森不等式，是机器学习中经常遇到的几个概率不等式。本文对它们进行简单介绍，并加以证明，然后对它们在机器学中的应用进行举例说明。
主要内容包括：
马尔科夫不等式（Markov’s Inequality）
定义
证明
应用
a.用于估计一个概率的上界，比如假设你所在公司的人均工资是1万，那么随机选一个你司员工，其工资超过10万的概率，不会超过1/10。
b.用于其他概率不等式的证明，比如下面的霍夫丁不等式。
霍夫丁不等式（Hoeffding’s Inequality）
霍夫丁不等式的证明，除了要用到上面的马尔科夫不等式外，还要用到霍夫丁引理。因此，下面先介绍霍夫丁引理。
霍夫丁引理
定义
证明
霍夫丁不等式
定义
证明
应用
用于给出二分类问题的泛化误差上界
詹森不等式（Jensen’s Inequality）
定义
证明
凸函数定义 + 归纳法
应用
1. 有些公式里很多变量没给出来具体意义啊？
如果你已学过相关内容，这里可以帮助你回顾一下；如果你还没学习相关内容，不必了解其中变量的具体含义，这里重在形式推导。
2. 咦，那么巧？概率统计中log和exp的函数形式如此常见（比如，对数似然函数、指数分布族），而-log(x)和exp(x)刚好都是凸函数，可以各种使用詹森不等式。
NO，是因为-log(x)是凸函数，我们才对似然函数求对数，因为exp(x)是凸函数，我们才更喜欢用指数分布族建模的。所以，那么多的偶遇其实都是注定，因为那个他（她）早在那里等你多时了！
参考文献：
李航 《统计学习方法》 第二版
-END-
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
软件测试经验与教训
Cem Kaner、James Bach、Bret Pettichord / 机械工业出版社 / 2004-1 / 35.00
本书汇总了293条来自软件测试界顶尖专家的经验与建议，阐述了如何做好测试工作、如何管理测试，以及如何澄清有关软件测试的常见误解，读者可直接将这些建议用于自己的测试项目工作中。这些经验中的每一条都是与软件测试有关的一个观点，观点后面是针对运用该测试经验的方法、时机和原因的解释或例子。 本书还提供了有关如何将本书提供的经验有选择性地运用到读者实际项目环境中的建议，在所有关键问题上所积累的经验，以......一起来看看 《软件测试经验与教训》 这本书的介绍吧!
