MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

栏目: 数据库 · 发布时间: 6年前

内容简介:原谅我,前半句是真的,后半句是噱头,但是真的很简化了。 MLSQL已经有一个相对来比较完善的Python Runtime,细节可以参看这篇文章,所以玩深度学习是很容易的,不过需要你提供一段tensorflow代码或者项目。但是我一直认为这应该是高阶用户的使用场景,因为你必须要写一个完整的tf/keras之类的代码,这对使用者的要求还是颇高的(当然,你也可以使用别人写好的集成到MLSQL)。 能不能有一种开箱即用让人玩转深度学习的东西呢?于是我首先就集成了DeepLearning4J,事实上效果并不好(多方

前言

原谅我,前半句是真的,后半句是噱头,但是真的很简化了。 MLSQL已经有一个相对来比较完善的Python Runtime,细节可以参看这篇文章,所以玩深度学习是很容易的,不过需要你提供一段tensorflow代码或者项目。

但是我一直认为这应该是高阶用户的使用场景,因为你必须要写一个完整的tf/keras之类的代码,这对使用者的要求还是颇高的(当然,你也可以使用别人写好的集成到MLSQL)。 能不能有一种开箱即用让人玩转深度学习的东西呢?于是我首先就集成了DeepLearning4J,事实上效果并不好(多方面原因,以后有时间展开讲)。直到遇到了BigDL,发现这个目标很快会实现了。

BigDL是用纯scala/Java实现的一套深度学习库这点很吸引哦,可以避免使用Python runtime 而导致的复杂环境要求。第二个是,我之前说,其实GPU真的很贵,但是大部分中小企业已经积累了足够多的CPU资源,并且很多情况下是用不满的,而BigDL针对Intel(毕竟是Intel出品)CPU做了很多的优化,这样就可以充分利用闲置的CPU资源。

前面说了下缘由,现在我们来看看如何通过MLSQL无需编码但却足够灵活的玩转深度学习。

环境准备

  1. 下载一个 spark 2.3.2 发行版
  2. 下载 MLSQL preview 版本

Ok,这就是全部工作。运行起来:

cd spark-2.3.2-bin-hadoop2.7/

./bin/spark-submit   --class streaming.core.StreamingApp \
--master local[*] \
--name sql-interactive \
streamingpro-mlsql-1.1.3-dev.jar   \
-streaming.name sql-interactive    \
-streaming.job.file.path file:///tmp/query.json \
-streaming.platform spark   \
-streaming.rest true   \
-streaming.driver.port 9003   \
-streaming.spark.service true \
-streaming.thrift false \
-streaming.enableHiveSupport true

query.json 包含 "{}" 就行了。启动后访问url地址:

http://127.0.0.1:9003

开始玩起来

首先我们看看都有哪些模块可以用:

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

不过那如果我只想看BigDL相关的模块,怎么办呢?没关系 我们过滤下:

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

恩 只有一个BigDL分类算法。现在我想看看这个算法的细节,比如文档和示例:

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

显示比较糟糕,大家将就下,然后把代码复制出来:

-- You can download the MNIST Data from [here](http://yann.lecun.com/exdb/mnist/). Unzip all the
-- files and put them in one folder(e.g. mnist).

set json = '''{}''';
load jsonStr.`json` as emptyData;

run emptyData as MnistLoaderExt.`` where
mnistDir="/Users/allwefantasy/Downloads/mnist"
as data;

train data as BigDLClassifyExt.`/tmp/bigdl` where
fitParam.0.featureSize="[28,28]"
and fitParam.0.classNum="10"
and fitParam.0.maxEpoch="1"
-- 实际运行时把 \\ 去掉
and fitParam.0.code=\\'''
                   def apply(params:Map[String,String])={
                        val model = Sequential()
                        model.add(Reshape(Array(1, 28, 28), inputShape = Shape(28, 28, 1)))
                        model.add(Convolution2D(6, 5, 5, activation = "tanh").setName("conv1_5x5"))
                        model.add(MaxPooling2D())
                        model.add(Convolution2D(12, 5, 5, activation = "tanh").setName("conv2_5x5"))
                        model.add(MaxPooling2D())
                        model.add(Flatten())
                        model.add(Dense(100, activation = "tanh").setName("fc1"))
                        model.add(Dense(params("classNum").toInt, activation = "softmax").setName("fc2"))
                    }

\\'''
;
predict data as BigDLClassifyExt.`/tmp/bigdl`;

register BigDLClassifyExt.`/tmp/bigdl` as mnistPredict;

select
vec_argmax(mnistPredict(vec_dense(features))) as predict_label,
label from data
as output;

示例说下载一个mnist数据集,解压后应该有四个文件:

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

现在把上面的代码黏贴到控制台(记得修改你数据路径),点击运行,恭喜,你的第一个深度学习算法就跑起来了。

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

跑完之后你会发现,好像结果差的比较多,那时训练次数太少了,那我怎么知道通过什么参数去修改呢?别急,用一个指令就知道了:

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

红框部分的值其实默认是1,你可以设置10轮左右,我测试过50轮,效果已经足够好了。

另外因为BigDL遵循了torch的标准,所以你的预测值需要+1 才能和实际值对上。

因为深度学习一般而言都是图片,也不会像mnist那样,是个特殊的文件,我想知道有没有什么好的模块可以处理图片,还是老办法,用 sql 找找看:

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

我没截图全,下面其实还有几个。大家看到的是基于BigDL实现的,我们看看具体的使用方式,

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

image.png

通过这个可以看到文档和代码。

现在我们黏贴出来,大概是这个样子的:

set json='''{}''';
load jsonStr.`json` as emptyData;

run emptyData as ImageLoaderExt.`/Users/allwefantasy/Downloads/jack`
-- 实际运行时把 \\ 去掉
where code=\\'''
        def apply(params:Map[String,String]) = {
         Resize(256, 256) -> CenterCrop(224, 224) ->
          MatToTensor() -> ImageFrameToSample()
       }
\\''' as images;
select imageName from images limit 1 as output;

以上所述就是小编给大家介绍的《MLSQL拥抱BigDL,轻轻松松无编码玩深度学习》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

创业就是要细分垄断

创业就是要细分垄断

李开复、汪华、傅盛 / 文化发展出版社 / 2017-5-1 / CNY 45.00

对各方面资源极为有限的创业公司而言,想在激烈的市场竞争中站立下来的第一步是:成为细分市场的垄断者。不管是资本还是尖端人才,追逐的永远是行业里尖端的企业,第二名毫无意义。 首先,要精准定位潜在市场。这个市场的需求仍没有被满足,并且潜力巨大。其次,抓住时代和行业的红利,通过高速增长实现“小垄断”,抢滩登陆。最后,在细分领域里建立起自己的竞争壁垒,应对巨头和竞争对手的复制,去扩展更大的市场,从而扩......一起来看看 《创业就是要细分垄断》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具