贝叶斯理论

还是拿质检员的例子来做分析，假如我是一个质检员，现在接到了三箱零件需要检验，其中第一箱有10个零件，第二箱有20个零件，第三箱有15个。半小时过去了，检验的结果出炉，第一箱有1个不合格，第二箱有3个不合格，第三箱2个不合格。

那现在我从这三个箱子中随便拿取一个零件，这个零件是合格的概率是多少呢？我们假设事件D：零件合格，则：

像这样得出一个零件是合格的概率就计算出来了，但是在机器学习领域中，可能我们更想知道，给你一个样本，这个样本属于哪个类目的问题，这也叫分类问题，这就涉及到反向概率的问题。

反向概率-朴素贝叶斯理论

现在我们假设这样一个场景：你拿到了一个零件，这个零件是属于哪个箱子？这个问题在机器学习中就是类比为：给你一个样本，这个样本有很多特征，机器模型输出该样本属于哪个类别。这样我们来理解贝叶斯理论。

条件概率

表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率， 表示事件A、事件B共同发生的概率， 表示事件B发生的概率，这样就计算就是一个条件概率。 我们结合上面零件合格这个场景继续思考，如果我们知道了这件零件是合格的，那么它是来自A、B、C三类中具体哪个类中？具体哪个类目我们肯定是不知道的，因为三个类目都有合格的零件，但是我们可以知道这件合格的零件来自每个类目的概率是多少，也就是求 、 、 ，其中D表示这件零件是合格的概率，由条件概率知道：

其中 已经在上面计算出来了， ， 表示这件零件来自A箱子，并且是正品的概率，两个条件是独立的，所以我们计算为：

于是我们可以计算合格商品来自每个箱子的概率：

从而知道了合格的零件最可能来自箱子A，因为来自箱子A的概率最高，达到了0.344。从这个例子中我们可以引出贝叶斯理论：

将1步骤中的 代入到本公式中，替换分子 得到：

公式推导如上，经过上述两个步骤后，我们可以得到最终的贝叶斯公式：

可能有人问：我们这么转换公式是为了什么？其实推导工程也就用了两次条件概率，正好两次条件概率公式的分子是一样的，用来替换一下，其实这是因为在我们日常中，我们比较容易知道结果，就像你带着眼罩从箱子里随便拿到一个零件，这个零件合格或不合格是容易判断的，但是你怎么知道它是来自哪个箱子的？于是我们的问题就变成了： 从三个箱子中拿出一个零件，这个零件是属于某一个箱子的概率，问题角度变了，我们不再关注它是合格还是不合格，合格或不合格很容易知道，但它属于哪个箱子就不容易知道，贝叶斯的提出就是解决这个问题 。

类比到机器学习领域

好了，我们知道了贝叶斯理论，那么对应到机器学习领域，这个思维怎么转换？类比到机器学习就是： 给你一条样本，这个样本的特征给出来了，每个特征的具体数值也给你了，现在请你告诉我它属于哪个类目？ 当然，这肯定是一条测试集，因为在训练集中，每一条记录都被标记了结果，也就是被打上标签，在二分类任务中，样本属于A类就被标记1，不属于A类就被标记0，形式化描述就是如下：

输入：训练集 ，测试集 其中 ，每一个样本又h个特征，训练集中每一个样本还有一个 label 标注结果。

这是比较形式化的一个描述，但又比较抽象，我们可以这么理解，给你测试集的一个样本，这个样本的每个特征数值告诉你了，这相当于告诉你这个零件是合格的还是不合格，然后你来告诉我这个样本是属于哪个类目，也就是 样本中的特征数值 就是上述箱子例子中零件合格这个结果 ，同时因为训练集有特征数值、每个样本有类目结果，我们可以从训练集入手，比较轻松的计算贝叶斯公式中某些概率，下一节，我们将具体计算。

机器学习中的贝叶斯理论

我们继续将贝叶斯理论结合到机器学习领域，我们假设场景：

背景条件：训练集 ，分类结果是 ，每一条训练集记录对饮一个分类结果 输入：给你一个测试集样本 输出：给出这个样本属于哪个类目

首先思考，一共有 个分类结果，我们可以计算这个样本属于每个分类结果的概率，选取概率大的分类结果作为这条样本的类目，那针对这条样本我们知道每个特征的数值，我们认为这些特征是从训练集中挑选的，每个训练集样本有一个分类结果，于是我们将特征类比为合格，那么这个合格样本来自那个类目？思考如下：

1、样本数据是 ，先取一个特征分析，我们假设取的特征是 ，根据贝叶斯理论我们知道 公式定义如下：

2、我们针对1中的公式来拆解分析：