内容简介：编辑 | 安可出品 | 磐创AI技术团队
编辑 | 安可
出品 | 磐创AI技术团队
目录：
-
冰山图片识别背景
-
数据介绍
-
数据预处理
-
模型搭建
-
结果分析
-
总结
一、冰山图片识别背景
这里我们要解决的任务是来自于Kaggle上的一道赛题（https://www.kaggle.com/c/statoil-iceberg-classifier-challenge），简单介绍一下赛题的背景：在加拿大的东海岸经常会有漂流的冰山，这对航行在该海域的船舶造成了很大的威胁。挪威国家石油公司(Statoil)是一家在全球运营的国际能源公司，该公司曾与C-CORE等公司合作，C-CORE基于其卫星数据和计算机视觉技术建立了一个监控系统。Statoil发布该赛题的目的是希望利用机器学习的技术，更准确的及早发现和识别出威胁船舶航行的冰山。
二、 数据介绍
赛题提供了两个数据文件“train.json”和“test.json”，其中“test.json”是比赛中用来对模型惊醒评分的，没有类标，这里我们只需要使用“train.json”文件。该数据集中有1604个打标过的训练数据，单个样本的数据格式如下：
| 字段名 |
字段说明 |
| id |
图像的id。 |
| band_1,band_2 |
卫星图像数据，band_1和band_2是以特定入射角下不同极化方式产生的雷达后向散射为特征的信号，分别对应HH（水平发射/水平接收）和HV（水平发射/垂直接收）两种极化方式的数据，其大小均为 。 |
| inc_angle |
获得该数据时的入射角度。该字段部分缺少数据，标记为“na”。 |
| is_iceberg |
类标，0：船只，1：冰山。 |
我们将数据可视化后进行观察，如图1所示。图像上方是冰山图像的可视化效果，三幅图分别对应“HH”计划方式、“HV”计划方式以及两者结合后的数据。图像下方是船只图像的可视化效果。
图1训练数据可视化效果
图1中的冰山和船只，通过观察可以较为容易的区分出来，但是还有很多如图2所示的数据，即使仔细观察也很难区分开来。
图2 训练数据可视化效果
三、 数据预处理
首先我们导入需要的包：
接下来我们定义一个数据预处理的函数：
“data_preprocess”函数接受两个参数，“path”为训练数据“train.json”的文件路径，“more_data”为布尔类型，当其为“true”时，会调用函数“create_more_data”进行训练数据的扩充（即数据增强）。
第11行到第17行代码中，我们对样本数据进行了处理，除了原有的“band_1”和“band_2”，我们增加了“band_3”，band_3=band_1+band_2 。最后我们使用numpy的“dstack”将三种数据进行堆叠，因此我们单个样本的数据维度为75x75x3。
第20行代码是调用“create_more_data”函数对训练数据进行扩充，第26行代码是对训练集的类标数据进行扩充，因为“create_more_data”函数将训练数据扩充为了原来的6倍，因此这里对应的也要将类标扩充为原来的6倍。
“create_more_data”函数的实现如下：
在“create_more_data”函数中我们通过对图像进行旋转和翻转来扩充数据集，虽然旋转前后的图像是同一张，但是由于特征的位置发生了变化，因此对于模型来说就是不同的数据，旋转或翻转操作是扩充图像数据集的一个简单有效的方法。 在31至35行代码中，我们定义了5个列表，用来保存扩充的数据集，对应的操作分别是逆时针旋转90度、逆时针旋转180度、逆时针旋转270度、左右翻转和上下翻转。 具体实现如下：
上面的代码中，我们使用numpy的“rot90”和“flip”函数对图像进行旋转和翻转操作。“flip”函数的第二个参数控制翻转的方式，“0”为左右翻转，“1”为上下翻转。第78行代码中，使用numpy的“concatenate”函数将扩充的数据预原数据进行拼接。
四、模型搭建
接下来我们实现模型部分，这里我们使用TensorFlow的高级API来搭建网络。
在84行代码中，我们使用“tf.keras.Sequential()”创建一个序贯模型，序贯模型是多个网络层的线性堆叠，我们使用“tf.keras.Sequential().add()”方法逐层添加网络结构。第87到90行代码是第一个卷积块，这里的卷积层我们使用了128个大小为3x3的卷积核，使用了relu激活函数。在卷积层后面是一个池化层，采用最大池化，池化窗口的大小为3x3，横向和纵向的步长都为2。在池化层的后面我们使用了Dropout，丢弃了20%的神经元，防止参数过多导致过拟合。接下来是三个类似的卷积块。
在第109行代码中，我们使用“Flatten()”将前一层网络的输出转换为了一维的数据，这是为了接下来的全连接操作。第112行代码是第一个全连接层，有256个神经元，全连接层后面接relu激活函数，同样使用了Dropout。第117至119是类似的一个全连接部分。
由于是二分类问题，在122行代码中我们使用了一个只有一个神经元的全连接层，并使用了Sigmoid激活函数，得到最终的输出。
第126至128行使用“compile”编译模型，其中“loss='binary_crossentropy'”指明使用的是对数损失函数，通过“optimizer”参数设置使用Adam优化器，学习率设置为0.0001。“metrics” 列表包含评估模型在训练和测试时的性能的指标，我们设置了“metrics=['accuracy']”，则在训练的过程中，训练集和验证集上的准确率都会打印出来。
第130行使用了“summary()”函数，训练开始后终端会打印出模型的概况信息，如图3所示，其中包含了网络的结构，以及每层的参数数量等信息。其中最后一行显示我们总的训练数据为7699条，验证集的数据量为1925条。
图3 模型的概况信息
五、结果分析
接下来我们读取数据，并训练模型：
第134行代码中我们调用“data_preprocess”函数获取预处理后的训练数据，设置“more_data”为“true”进行数据扩充。第140行代码中，我们调用“fit”方法开始模型的训练，通过“batch_size”设置每个批次训练25条数据，通过“epochs”设置训练的总回合数为“100”。通过设置“verbose”为1，在终端上显示训练的进度。通过设置“validation_split”为0.2，将训练集一分为二，其中80%作为训练集，20%作为验证集。
模型的训练过程和结果如图4所示：
图4 模型的训练过程和结果
六、 总结
在前面几节内容里我们介绍了卷积神经网络的基本结构和原理，在这一节里我们使用TensorFlow搭建了一个简单的卷积神经网络，实现图像分类的任务。
通过前几章的学习，我们深入理解了CNN中卷积，池化等典型结构的原理，以及CNN实际相关的图片识别比赛。相信大家对于CNN会有更深层次的认识。后边会接着这里开始介绍运用CNN技术来预测的典型3个项目。
长按扫描下方小程序码，互动提问
：
● TensorFlow系列专题(十三): CNN最全原理剖析（续）
● 十 | 门控循环神经网络LSTM与GRU（附 python 演练）
● TensorFlow系列专题（九）：常用RNN网络结构及依赖优化问题
● TensorFlow系列专题（八）：七步带你实现RNN循环神经网络小示例
● TensorFlow系列专题（七）：一文综述RNN循环神经网络
● TensorFlow系列专题（六）：实战项目Mnist手写数据集识别
● Tensorflow系列专题（四）：神经网络篇之前馈神经网络综述
欢迎扫码关注：
觉得赞你就点 在看 ，多谢大佬
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Computing Patterns in Strings
Bill Smyth / Addison Wesley / 2003 / $ 75.00
The computation of patterns in strings is a fundamental requirement in many areas of science and information processing. The operation of a text editor, the lexical analysis of a computer program, the......一起来看看 《Computing Patterns in Strings》 这本书的介绍吧!
