深度学习实战 图像数据集预处理总结

栏目: 数据库 · 发布时间: 5年前

内容简介:本文首发于微信公众号:"算法与编程之美",欢迎关注,及时了解更多此系列文章。

欢迎点击「算法与编程之美」↑关注我们!

本文首发于微信公众号:"算法与编程之美",欢迎关注,及时了解更多此系列文章。

深度学习实战 cifar数据集预处理技术分析

深度学习实战 fashion-mnist数据集预处理技术分析

深度学习实战 mnist数据集预处理技术分析

通过分析keras提供的预定义图像数据集,总结如下:

(1) mnist数据集采用numpy的npz方式以一个文件的方式存储文件,加载后就可以直接得到四个数组,非常方便。

(2) fshion-mnist数据集利用四个gz格式压缩包存储四个数组的内容,加载后利用numpy的frombuffer()方式加载数组。

(3) cifar数据集则是将训练集分为五个文件,每个一万条,测试集一个文件,利用pickle的dump()方法以字典的方式写入文件,然后通过pickle的load()方法加载字典,在字典中保存了data和labels.

三种不同的方式处理了三种数据集,各有特点,对于今后处理图像数据集具有非常好的借鉴价值。  今后在做图像分析处理任务的时候,可以将任务分为两个阶段,第一阶段为数据预处理,第二阶段为数据分析。

第一阶段的主要任务是收集有标签的图片数据,进行清洗,然后以numpy数组(x_train, y_train, x_test, y_test)格式的形式保存为npz格式的文件。

第二阶段直接读取npz文件就可以得到x_train, y_train, x_test, y_test四个数组,就可以非常方便的得到数据,建立模型,开始分析。

两个任务以pipeline的方式进行,可以极大的提升效率。

where2 go 团队

   

微信号:算法与编程之美          

深度学习实战 图像数据集预处理总结

长按识别二维码关注我们!

温馨提示: 点击页面右下角 “写留言”发表评论,期待您的参与!期待您的转发!


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

引爆流行

引爆流行

[美] 马尔科姆·格拉德威尔 / 钱清、覃爱冬 / 中信出版社 / 2002-7 / 18.00元

马尔科姆·格拉德威尔以社会上突如其来的流行风潮研究为切入点,从一个全新的角度探索了控制科学和营销模式。他认为,思想、行为、信息以及产品常常会像传染病爆发一样,迅速传播蔓延。正如一个病人就能引起一场全城流感;如果个别工作人员对顾客大打出手,或几位涂鸦爱好者管不住自己,也能在地铁里掀起一场犯罪浪潮;一位满意而归的顾客还能让新开张的餐馆座无虚席。这些现象均属“社会流行潮”,它爆发的那一刻,即达到临界水平......一起来看看 《引爆流行》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具