内容简介:机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测1.模型存储到hive存储很简单,将要存储的模型调用如下spark的序列化方法def serialize(spark: SparkSession)序列化后再转换拼装成sql,然后执行 spark.sql(insertSQL)即可,如下
机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测
1.模型存储到hive
存储很简单,将要存储的模型调用如下spark的序列化方法def serialize(spark: SparkSession)序列化后再转换拼装成sql,然后执行 spark.sql(insertSQL)即可,如下
case class ModleToHive(modelBizType: String,
data: String)
def save(modelUID: String): Unit = {
val instance = ModleToHive(
modelUID,
modelBizType,
model.serialize(spark)
)
val instDf = Seq(instance).toDF()
instDf.createOrReplaceTempView("model")
var sqlString = s"insert into modelTable select modelUID as modelUID, modelBizType as modelBizType, data as saved_model"
sqlString = sqlString + " from model "
spark.sql(sqlString).collect()
这样模型就存储到hive了
2.从hive仓库load模型并反序列化
val sqlString = s"select saved_model from modelTable where modelUID=modelUID "
val modelHexBinary = spark.sql(sqlString).first()
val ser = new KryoSerializer(sparkConf).newInstance()
val byteBuffer = ByteBuffer.wrap(DatatypeConverter.parseHexBinary(modelHexBinary.getString(0)))
ser.deserialize[T](byteBuffer)
这样模型就又反序列化出来了,可用于预测了
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
算法交易:制胜策略与原理
[美]欧内斯特·陈(Ernest P. Chan) / 高闻酉、黄蕊 / 机械工业出版社 / 49.00
本书是一本引人入胜、信息量大、覆盖各类交易策略的图书。无论个人投资者,还是机构投资者,都可以借鉴和使用其中的策略。本书中的策略大致可分为均值回归系统和动量系统两大类。书中不仅介绍了如何使用每种类别的交易策略,更解释了各种策略之所以有效的原因。本书始终以简单、线性的交易策略为重心,因为复杂的交易策略容易受到过度拟合及数据窥探的侵害。数学和软件是算法交易的两条腿。本书用到了一定程度的数学知识,使其对各......一起来看看 《算法交易:制胜策略与原理》 这本书的介绍吧!