机器学习scikit-learn使用

Scikit-learn安装

sklearn库依赖于numpy、scipy、matplotlib库，首先安装numpy，然后安装scipy、matplotlib库，最后安装scikit-learn库。可以通过anaconda进行安装或者通过依赖关系，逐个进行pip install进行安装。

Scikit-learn的数据集介绍

scikit-learn数据集如下图所示，包括了小数据集和大数据集，采用函数方法调用。

# 加载boston房价信息示例
 from sklearn.datasets import load_boston
 data, target = load_boston(return_X_y=True)
 print(data.shape)
 print(target.shape)

#加载手写数字库
 from sklearn.datasets import load_digits
 import matplotlib.pyplot as plt
 digits = load_digits()
 plt.matshow(digits.images[3])
 plt.show()
 

sklearn库包括6大部分，包括分类、回归、聚类、降维、模型选择以及数据预处理。具体的函数如下图所示：

Sklearn无监督学习使用

无监督学习采用无标签数据，处理数据分布或者数据关系，包括聚类和降维。

聚类采用距离进行衡量样本的分类情况，可以采用欧氏距离、曼哈顿距离、马氏距离（包含了属性的标准差）、余弦相似度（向量相似度的一个方面）。

sklearn聚类算法包含于sklearn.cluster中，包含了k-means、邻近传播算法、DBSCAN等。

sklearn.cluster可以采用多种数据形式作为输入，标准形式为[样本个数 特征个数]，还可以采用其他方式进行。

降维，在保证数据所具有的特征情况下，将高维数据转化为低维数据的过程，可用于数据可视化或者精简数据的作用。

sklearn降维算法包含于sklearn.decomposition，目前有7种降维算法。

聚类之kmeans方法使用

kmeans算法将数据分为k个簇，簇内相似度较高，簇间相似度较低。其操作过程如下图所示。

涉及到的过程包括：如何随机选取k个点；如何计算其余点与选取点的距离；如何计算每一类的均值；如何判断停止；如何证明有效性。

采用kmeans进行聚类操作，数据为31个身份居民家庭平均支出，包含8个维度数据，对于31个省份进行聚类。

选取数据点采用了Kmeans的初始化算法方法，由于没有数据，这里采用load_iris()数据进行分类，存在一定的分类误差，大约有0.09~0.11的分类误差。

from sklearn.cluster import KMeans
 from sklearn.datasets import load_iris
 if __name__ == '__main__':
 # import iris data: x is the iris feature and y is the class
 x, y = load_iris(return_X_y=True)
 # the number clusters is 3
 km = KMeans(n_clusters=3,init='k-means++', max_iter=10000)
 label = km.fit_predict(x)
 # evaluate the accuracy
 error_cnt = 0
 sum_cnt = 0
 for i in range(len(label)):
 if (y[i] != label[i]):
 error_cnt =error_cnt + 1
 sum_cnt = sum_cnt + 1
 print("Error rate:%.2f" % (error_cnt/sum_cnt))
 

kmeans可以用于图像分割，即利用图像分灰度、颜色、纹理、形状等特征将图像分为若干不重叠区域，使这些特征在同一区域具有相似性而不同区域呈现冥想差异性。图像分割常用技术包括了阈值分割、边缘分割、直方图法和聚类分析、小波变换等。kmeans分割可以实现图像中相似特征聚类，从而完成分割情况。对于同一类采用相同颜色标记，最终可以形成分割图像。实例如下，一个较重要的包为PIL，实例代码如下：

import PIL.Image as image
 def loadData(filePath):
 f = open(filePath,'rb')
 data = []
 img = image.open(f)
 m,n = img.size
 for i in range(m):
 for j in range(n):
 x,y,z = img.getpixel((i,j))
 data.append([x/256.0,y/256.0,z/256.0])
 f.close()
 return np.mat(data),m,n
 

聚类之DBSCAN方法使用

DBSCAN基于密度进行聚类，不需要指定聚类个数。DBSCAN算法将数据点分为三类：核心点、边界点和噪音点，这依据一点的邻域eps内其他点个数的情况是否大于minpts来决定。

算法流程如下所示，第一步包括了计算每一个点邻域eps距离内的点，超过minpts个数，则记该点为核心点；然后查看剩余点是否在邻域内，如果在则为邻域点；否则为噪声点。第二步为删除噪声点；第三步为连接距离在eps内的核心点，构成一个簇；第四步，指定边界点归类于哪一个簇。

# 统计每一类别元素个数的代码
 for i in range(0,nc):
 numberOfClass.append(len(label[label[:] == i]))
 print(numberOfClass)

DBSCAN基于密度分布进行聚类，对于iris数据难以实现有效聚类。

从 python 源码看，DBSCAN与KNN存在一定的联系。从实际操作而言，DBSCAN与kmeans均存在距离计算步骤，这也是聚类算法的一个必须步骤；对于距离情况，kmeans采取最短距离归类原则，这符合统计情况；而DBSCAN则采取一定的threshold，对于部分噪声数据可以进行过滤。

降维之PCA

PCA，主成分分析，较为常用的一种降维方法，可以用于高维数据的探索和可视化，还可以用作数据压缩和预处理。

矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的为第一主成分，其次为第二主成分。样本的PCA算法如下所示：

在sklearn库中，可以使用sklearn.decomposition.PCA进行降维，关键参数有主成分个数n_components和svd_solver。采用PCA可以对于iris数据集进行降维操作。

# 原数据为四维的，使用PCA对数据进行降维，
 # 实现在二维平面的可视化
 import matplotlib.pyplot as plt
 from sklearn.decomposition import PCA
 from sklearn.datasets import load_iris
 # 加载数据集导入函数
 data = load_iris()
 # 以字典形式加载数据集
 y = data.target
 # y表示数据集中的标签
 X = data.data
 # x表示数据集中的属性数据
 pca = PCA(n_components=2)
 # 加载pca算法，主成分数目为2
 reduced_X = pca.fit_transform(X)
 # 对原始数据进行降维，保存在reduced_X中
 red_x, red_y = [], []
 blue_x, blue_y = [], []
 green_x, green_y = [], []
 # 按类别将降维后的数据进行保存
 for i in range(len(reduced_X)):
 # range(5) #代表从0到5(不包含5)
 if y[i] == 0:
 red_x.append(reduced_X[i][0])
 red_y.append(reduced_X[i][1])
 elif y[i] == 1:
 blue_x.append(reduced_X[i][0])
 blue_y.append(reduced_X[i][1])
 else:
 green_x.append(reduced_X[i][0])
 green_y.append(reduced_X[i][1])
 # 按照鸢尾花的类别将降维后的数据点保存在不同的列表中
 plt.scatter(red_x, red_y, c='r', marker='x')
 # 画x关于y的散点图，c：color，r：red。
 # maker：标记点的形状。x：x形；D：钻石形；.：点形
 plt.scatter(blue_x, blue_y, c='b', marker='D')
 plt.scatter(green_x, green_y, c='g', marker='.')
 plt.show()
 

降维之NMF

NMF，非负矩阵分解，是在矩阵所有元素为非负数这一条件约束情况下的矩阵分解方法。其思想为，对于一个非负矩阵，可以找到另外的矩阵W和H，这两者也是非负矩阵，使得W乘以H接近矩阵V。其中W矩阵称为基础图像矩阵，而H矩阵为系数矩阵。W矩阵类似于V矩阵中抽取的特征。

NMF的算法需要进一步进行探究，可以使用NMF方法进行，关键参数有n_components，init表示W和H矩阵的初始化方法。

实作的对象为olivetti人脸数据集，包含400张人脸数据，每张图像为64*64大小，也就是说原始的数据具有4096个维度。可以采用NMF进行降维，经过调整最终的特征个数可以为6个，也就是说降维后的数据集为400张*6个特征。(待确定)

NMF和PCA可以直接替代使用，二者参数接近。

Sklearn监督学习使用

监督学习的目标是利用一组带有标签的数据，构成一个从输入到输出的映射，然后将这种映射关系应用到未知数据，达到分类或回归的目的。

sklearn库中分类算法未被统一封装，因此其import方式各有不同，其分类算法包括了KNN，朴素贝叶斯，SVM，决策树，神经网络模型等等，既有线性分类器，也有非线性分类器。

回归分析则是用于分析多个变量的相关性，由于给出在自变量变化时，因变量的变化情况。一般而言，通过回归分析可以得到由自变量给出因变量的条件期望。

sklearn库的回归函数封装在linear_model和prepocessing中，其中线性回归函数包括线性回归、岭回归、LASSO回归，非线性回归如多项式回归等。

分类之KNN

KNN的基本思想是通过计算待分类数据与训练集数据的距离，取前K个点，将待分类数据划分到出现次数最多的那个类别。

sklearn中采用sklearn.neighbors.KNeighborsClassifier创建K近邻分类器，关键参数包括n_neighbors和weights。为了能够对于大数据进行处理，可以采用合适的计算临近点的方法。实际使用过程中，倾向于使用较小的K，并且使用交叉验证得到最优的K值。

# KNN简易代码
 from sklearn.neighbors import KNeighborsClassifier
 x = [[0],[1],[2],[3]]
 y = [0,0,1,1]
 neigh = KNeighborsClassifier(n_neighbors=3)
 neigh.fit(x,y)
 print(neigh.predict([[1.1]]))
 

分类之决策树

构建过程为特征的信息增益，分类时只需要根据决策树的节点进行判断，从而得到所属类别。

sklearn可以使用sklearn.tree.DecisionTreeClassifier进行分类，参数有criterion，可以选择gini或者entropy；max_features可以选择决策树节点进行分类时，从多少个特征中选取最优特征。

其本质是一种寻找一种对特征空间的划分，从而构建一个对于训练数据拟合好，并且复杂度小的决策树。

from sklearn.datasets import load_iris
 from sklearn.tree import DecisionTreeClassifier
 from sklearn.model_selection import cross_validate
 # 默认使用gini分类，这里采用entropy分类
 clf = DecisionTreeClassifier(criterion='entropy')
 iris = load_iris()
 print(cross_validate(clf,iris.data,iris.target,cv=10))
 

分类之朴素贝叶斯

朴素贝叶斯，naive bayes，为典型的生成学习方法，通过训练数据得到联合分布，然后求取后验概率。对于小规模、多分类任务。

在sklearn库中有以下三类贝叶斯分类器，naive_bayes.GaussianNB，分别针对高斯朴素贝叶斯、针对多项式模型的朴素贝叶斯和针对多元伯努利模型的朴素贝叶斯，其区别在于假设某一特征的观测值属于某一特定分布。

# 朴素贝叶斯示例代码
 import numpy as np
 from sklearn.naive_bayes import GaussianNB
 X = np.array([[-1,-1],[-2,-1],[-3,-2],[1,1],[2,1],[3,2]])
 Y = np.array([1,1,1,2,2,2])
 clf = GaussianNB(priors=None)
 clf.fit(X,Y)
 print(clf.predict([[-0.8,-1]]))
 

分类之SVM

SVM分类方法在sklearn.svm.SVC中，代码如下所示，需要设置kernel参数，例如rbf，linear,poly,sigmoid等。同时针对本分类，可以产生训练集和测试集。

from sklearn.datasets import load_iris
 from sklearn.model_selection import cross_validate
 from sklearn import svm
 clf = svm.SVC(kernel='rbf')
 x,y = load_iris(return_X_y=True)
 print(cross_validate(clf,x,y,cv=10))
 

分类之MLP

MLP，即多层全连接神经网络。对于DBRHD数据集，其大小为32*32的文本矩阵，而MLP采用向量输入，因此需要展开文本矩阵，输出采用one-hot vectors。Hidden layer的层数和神经元个数均会影响识别准确率。

clf = MLPClassifier(hidden_layer_sizes=(100,),
 activation='logistic', solver='adam',
 learning_rate_init = 0.0001, max_iter=2000)
 print(clf)
 clf.fit(train_dataSet,train_hwLabels)
 #read testing dataSet
 dataSet,hwLabels = readDataSet('testDigits')
 res = clf.predict(dataSet) #对测试集进行预测
 

数据的处理方法

sklearn提供了数据预处理模块Imputer，自动生成训练集和测试集的模块train_test_split，预测结果评估模块classification_report。注意，train_test_split已经被删除。

from sklearn.preprocessing import Imputer
 from sklearn.cross_validation import train_test_split 
 from sklearn.metrics import classification_report
 

可以采用pandas模块读取数据文件，可以处理分隔符，缺失值且去除表头行。处理缺失值代码如下所示。这里由于存在多个分散文件，因此使用了np.concatenate进行文件数据合并。

 df = pd.read_table(file, delimiter=',', na_values='?', header=None)
 imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
 imp.fit(df)
 df = imp.transform(df)
 feature = np.concatenate((feature, df))
 

train_test_split函数可以将数据顺序打乱，而classification_report可以生成数据分类的结果准确度。

对于数据，需要进行特征选择，可以借助辅助软件进行数据可视化。

对于CSV文件，可以通过pandas模块的read_csv函数进行处理，数据可以进行 排序 操作，这对于时间序列数据尤其有用。

对于时间序列函数，可以指定特定的前序时间进行特征分析，而后的时间作为结果label，如下分析所示。初始数据有200天的结果，使用前序150天作为training set。因此最终的样本包括了50条，每一条样本的数据包括了前150天的各特征，该特征是二维数组形式，因此需要进行reshape操作。

回归之线性回归和多项式回归

线性回归利用最小二乘法，对于回归方程进行求解，最终可以得到GD等多种优化迭代方法。

回归分析的关键代码如下所示，使用的函数为sklearn.linear_model.LinearRegression()，fit()用于拟合输入输出数据。

多项式回归本质也是线性回归，因为参数对于输出是线性的。对于多项式回归，sklearn提供了预处理方法，构造多项式特征。

from sklearn.prepocessing import PolynomialFeatures
 poly_reg = PolynomialFeatures(degree = 2)
 X_poly = poly_reg.fit_transform(datasets_X)
 lin_reg_2 = linear_model.LinearRegression()
 lin_reg_2.fit(X_poly, datasets_Y)
 

回归之岭回归

对于回归分析而言，最小二乘法的解析解存在不稳定情况。也就是存在一个转置项，由于X的某些列线性相关度较大，容易出现$X^TX$接近0。对于接近于零的情况具有不稳定性。因此可以通过引入正则项进行解决，这称为岭回归，如下图所示：

在sklearn库中，可以调用sklearn.linear_model.Ridge，参数有alpha，对应正则化因子，fit_intercept表示是否计算截距，solver指定求解器。实例中指定的alpha=1.0。

强化学习及简单游戏训练

强化学习是程序agent通过与环境不断进行交互学习，得到从环境到动作的映射，从而使得累计汇报最大化。

马尔可夫决策过程，MDP，是一种较为常用的强化学习过程，该学习方法需要获得环境的状态以及可能采取动作的状态。

现实中，对于环境的转移概率和奖励函数很难得到，因此可以采用不依赖于环境进行建模的学习算法，称为免模型学习，蒙特卡洛强化学习就是其中一类，采用多次采样获得平均的累计奖赏。更强的学习方法为Q-learning算法。

DQN: 利用深度网络，可以实现深度强化学习，得到较好的学习效果。该方法直接学习环境和动作状态函数的映射关系，得到问题的解。