Apache Spark 2.4.4 发布, 开源集群计算环境

栏目: 软件资讯 · 发布时间: 5年前

内容简介:Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交...

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Apache Spark 2.4.4 发布, 开源集群计算环境Apache Spark 2.4.4 发布, 开源集群计算环境

2.4.4 版本包含稳定性修复的维护版本,内容如下:

  • 修复十进制 toScalaBigInt/toJavaBigInteger 表示不适合长的十进制的问题
  • 修复 PushProjectionThroughUnion 可空性问题
  • 修复 From_Avro 在本地模式下不修改其他行中的变量
  • Spark 2.4.3 当 HiveUDAF 遇到 0 行时意外抛出 NPE。与其他版本一样,修复后返回 NULL
  • 修复 PySparkSocket 服务器与 JVM 连接线程的同步
  • KafkaOffsetRangeCalculator.getRange 可能会减少偏移量
  • 缓存一个不确定的 RDD 会导致在重新运行阶段时出现不正确的结果
  • Spark 2.2 引入了 LinearSVCModel.setWeightCol 方法,这种方法是不正确的。它在 2.4.4 中被弃用,在 3.0.0 中将被删除

详情见说明:

https://spark.apache.org/releases/spark-release-2-4-4.html


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

我看电商2(双色)

我看电商2(双色)

黄若 / 电子工业出版社 / 2016-6 / 39.00元

《我看电商2》是行业畅销书《我看电商》的续集。 《我看电商》自出版以来,连续印刷14 次,受到业界人士和广大读者的高度好评。《我看电商2》承续作者一贯的风格,以行业观察、经验分享为出发点,重点分析了过去一年中国电商界的最新动态与趋势,包括双11点评、京东关闭拍拍、上市公司私有化等。 电子商务是我国近年来发展最快的新兴行业之一,作者作为这个行业的长老级领军人物,善于思考,长于实操。《我看......一起来看看 《我看电商2(双色)》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具