内容简介：LogisticRegression，逻辑回归。虽然其名称中含有回归二字，但其是一种这里我们需要注意一下：很多博客将逻辑回归只写成线性分类模型，并举例逻辑回归的分割超平面是线性的来证明线性关系。我觉得有失妥当。以下为个人观点：网友们举例逻辑回归分割超平面是线性的，其样本已经不是原来的样本了，是经过sigmoid函数映射过后的样本了。逻辑回归的分割超平面在原样本空间还是非线性的。按照网友们那种做法，那么带有核函数的SVM模型也是线性模型了，因为在高维空间我们SVM分割超平面总是线性超平面。说到底源于sigmo
LogisticRegression，逻辑回归。虽然其名称中含有回归二字，但其是一种 非线性分类 模型。逻辑回归的模型引入了sigmoid函数映射，是非线性模型，但其本质上又是一个线性回归模型。其仅仅是在线性分类之外套了一层sigmoid映射，所以在sigmoid约束后的样本空间内，LR的分割超平面是线性的。所以LR 本质是一个线性分类模型。
这里我们需要注意一下：很多博客将逻辑回归只写成线性分类模型，并举例逻辑回归的分割超平面是线性的来证明线性关系。我觉得有失妥当。以下为个人观点：网友们举例逻辑回归分割超平面是线性的，其样本已经不是原来的样本了，是经过sigmoid函数映射过后的样本了。逻辑回归的分割超平面在原样本空间还是非线性的。按照网友们那种做法，那么带有核函数的SVM模型也是线性模型了，因为在高维空间我们SVM分割超平面总是线性超平面。 这里我觉得只能表达出逻辑回归和SVM本质是线性模型，而不能说他们就是线性模型 。(欢迎网友来反驳)
为什么LR要使用Sigmod函数？
说到底源于sigmoid的最大熵的性质。熵用在概率分布上可以表示这个分布中所包含的不确定度，熵越大不确定度越大。所以，均匀分布熵最大，因为基本新数据是任何值的概率都均等。而我们现在关心的是，给定某些假设之后，熵最大的分布。也就是说这个分布应该在满足我假设的前提下越均匀越好。比如大家熟知的正态分布，正是假设已知mean和variance后熵最大的分布。回过来看logistic regression，这里假设了什么呢？首先，我们在建模预测 Y|X，并认为 Y|X 服从伯努利分布，所以我们只需要知道 P(Y|X)；其次我们需要一个线性模型，所以P(Y|X) = f(wx)。接下来我们就只需要知道 f 是什么就行了。而我们可以通过最大熵原则推出的这个 f，就是sigmoid。可知伯努利分布的指数函数族形式，也即是 1/ (1 + e^-z)
以上所述就是小编给大家介绍的《手推逻辑回归--面试前拯救一下》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
