利用spark进行机器学习时模型序列化存储到hive解决方案

栏目: 服务器 · 发布时间: 5年前

内容简介:机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测1.模型存储到hive存储很简单,将要存储的模型调用如下spark的序列化方法def serialize(spark: SparkSession)序列化后再转换拼装成sql,然后执行 spark.sql(insertSQL)即可,如下

机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测

1.模型存储到hive

存储很简单,将要存储的模型调用如下spark的序列化方法def serialize(spark: SparkSession)序列化后再转换拼装成sql,然后执行 spark.sql(insertSQL)即可,如下

case class ModleToHive(modelBizType: String,
                        data: String)


    def save(modelUID: String): Unit = {
    val instance = ModleToHive(
      modelUID,
      modelBizType,
      model.serialize(spark)
      ) 

    val instDf = Seq(instance).toDF()
    instDf.createOrReplaceTempView("model")

    var sqlString = s"insert into modelTable select modelUID as modelUID, modelBizType as modelBizType, data as saved_model"
    sqlString = sqlString + " from model "
    spark.sql(sqlString).collect()

这样模型就存储到hive了

2.从hive仓库load模型并反序列化

val sqlString = s"select saved_model from modelTable where modelUID=modelUID "
    val modelHexBinary = spark.sql(sqlString).first() 
    val ser = new KryoSerializer(sparkConf).newInstance()
    val byteBuffer = ByteBuffer.wrap(DatatypeConverter.parseHexBinary(modelHexBinary.getString(0)))
    ser.deserialize[T](byteBuffer)

这样模型就又反序列化出来了,可用于预测了


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

计算理论导引

计算理论导引

[美]Michael Sipser / 张立昂、王捍贫、黄雄 / 机械工业出版社 / 2000-2 / 30.00元

本书由计算理论领域的知名权威Michael Sipser撰写。他以独特的视角,综合地描述了计算机科学理论,并以清新的笔触、生动的语言给出了宽泛的数学理论,而并非拘泥于某些低层次的技术细节。在证明之前,均有“证明思路”,帮助读者理解数学形式下蕴涵的概念。同样,对于算法描述,均以直观的文字,而非伪代码给出,从而将注意力集中于算法本身,而不是某些模型。本书的内容包括三个部分:自动机与语言、可计算性理论和一起来看看 《计算理论导引》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具