吴恩达MachineLearning-week3

栏目: 数据库 · 发布时间: 5年前

内容简介：虽然带着回归两字，但是它解决的是分类问题，而不是预测一段连续的值。根据线性回归模型我们只能预测连续的值，然而对于分类问题，拿二分类举例，我们需要输出0或1，我们可以预测：当时，预测；当时，预测。

虽然带着回归两字，但是它解决的是分类问题，而不是预测一段连续的值。

根据线性回归模型我们只能预测连续的值，然而对于分类问题，拿二分类举例，我们需要输出0或1，我们可以预测：

当时，预测；当时，预测。

虽然上述描述看起来可以解决问题，但是这种模型当y>1时，模型也会因此改变，这时以0.5作为阈值就不合适了，说明线性模型并不适合解决这样的问题。

这时，我们引入一个新的模型，该模型的输出变量范围始终在0和1之间。其中：代表特征向量代表逻辑函数（ logistic function )或称为 S 形函数（ Sigmoid function ），公式为：。

python代码实现：

import numpy as np

def sigmoid(z):

  return 1 / (1 + np.exp(-z))
复制代码

该函数的图像为：

的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性（ estimated probablity ），即

例如，如果对于给定的，通过已经确定的参数计算得出，则表示有70%的几率为正向类，相应地为负向类的几率为1-0.7=0.3。

1.2 代价函数

我们有了假设h(θ)，如下图

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（ non-convexfunction ）。

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。

线性回归的代价函数为：；然后我们重新定义逻辑回归的代价函数为：

，其中

与之间的关系如下图所示：

这样构建的函数的特点是：

当实际的且也为 1 时误差为 0，当但不为1时误差随着变小而变大；
当实际的且也为 0 时代价为 0，当但不为 0时误差随着的变大而变大。

将构建的简化如下：带入代价函数后得到：提负号：

Python代码实现：

import numpy as np

def cost(theta, X, y):

  theta = np.matrix(theta)
  X = np.matrix(X)
  y = np.matrix(y)
  first = np.multiply(-y, np.log(sigmoid(X* theta.T)))
  second = np.multiply((1 - y), np.log(1 - sigmoid(X* theta.T)))
  return np.sum(first - second) / (len(X))
复制代码

1.3 梯度下降

在得到这样一个代价函数以后，我们便可以用梯度下降算法来求得能使代价函数最小的参数了。算法为：

Repeat {

(simultaneously update all )

}

求导后得到：

Repeat {

(simultaneously update all )

}

所以，如果你有个特征，也就是说：

，参数向量包括一直到

，那么你就需要用这个式子。

推导过程：

考虑：则：

所以：

注：虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样，但是这里的与线性回归中不同，所以实际上是不一样的。另外，在运行梯度下降算法之前，进行特征缩放依旧是非常必要的。

一些梯度下降算法之外的选择：除了梯度下降算法以外，还有一些常被用来令代价函数最小的算法，这些算法更加复杂和优越，而且通常不需要人工选择学习率，通常比梯度下降算法要更加快速。这些算法有： 共轭梯度 （ Conjugate Gradient ）， 局部优化法 ( Broyden fletcher goldfarb shann,BFGS )和 有限内存局部优化法 ( LBFGS )

2.1 正则化

2.1.1 过拟合问题

第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。

就以多项式理解，的次数越高，拟合的越好，但相应的预测的能力就可能变差。

问题是，如果我们发现了过拟合问题，应该如何处理？