内容简介：LogisticRegression，逻辑回归。虽然其名称中含有回归二字，但其是一种这里我们需要注意一下：很多博客将逻辑回归只写成线性分类模型，并举例逻辑回归的分割超平面是线性的来证明线性关系。我觉得有失妥当。以下为个人观点：网友们举例逻辑回归分割超平面是线性的，其样本已经不是原来的样本了，是经过sigmoid函数映射过后的样本了。逻辑回归的分割超平面在原样本空间还是非线性的。按照网友们那种做法，那么带有核函数的SVM模型也是线性模型了，因为在高维空间我们SVM分割超平面总是线性超平面。说到底源于sigmo
LogisticRegression，逻辑回归。虽然其名称中含有回归二字，但其是一种 非线性分类 模型。逻辑回归的模型引入了sigmoid函数映射，是非线性模型，但其本质上又是一个线性回归模型。其仅仅是在线性分类之外套了一层sigmoid映射，所以在sigmoid约束后的样本空间内，LR的分割超平面是线性的。所以LR 本质是一个线性分类模型。
这里我们需要注意一下：很多博客将逻辑回归只写成线性分类模型，并举例逻辑回归的分割超平面是线性的来证明线性关系。我觉得有失妥当。以下为个人观点：网友们举例逻辑回归分割超平面是线性的，其样本已经不是原来的样本了，是经过sigmoid函数映射过后的样本了。逻辑回归的分割超平面在原样本空间还是非线性的。按照网友们那种做法，那么带有核函数的SVM模型也是线性模型了，因为在高维空间我们SVM分割超平面总是线性超平面。 这里我觉得只能表达出逻辑回归和SVM本质是线性模型，而不能说他们就是线性模型 。(欢迎网友来反驳)
为什么LR要使用Sigmod函数？
说到底源于sigmoid的最大熵的性质。熵用在概率分布上可以表示这个分布中所包含的不确定度，熵越大不确定度越大。所以，均匀分布熵最大，因为基本新数据是任何值的概率都均等。而我们现在关心的是，给定某些假设之后，熵最大的分布。也就是说这个分布应该在满足我假设的前提下越均匀越好。比如大家熟知的正态分布，正是假设已知mean和variance后熵最大的分布。回过来看logistic regression，这里假设了什么呢？首先，我们在建模预测 Y|X，并认为 Y|X 服从伯努利分布，所以我们只需要知道 P(Y|X)；其次我们需要一个线性模型，所以P(Y|X) = f(wx)。接下来我们就只需要知道 f 是什么就行了。而我们可以通过最大熵原则推出的这个 f，就是sigmoid。可知伯努利分布的指数函数族形式，也即是 1/ (1 + e^-z)
以上所述就是小编给大家介绍的《手推逻辑回归--面试前拯救一下》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Ant Colony Optimization
Marco Dorigo、Thomas Stützle / A Bradford Book / 2004-6-4 / USD 45.00
The complex social behaviors of ants have been much studied by science, and computer scientists are now finding that these behavior patterns can provide models for solving difficult combinatorial opti......一起来看看 《Ant Colony Optimization》 这本书的介绍吧!
