Apache Spark 2.4.4 发布, 开源集群计算环境

栏目: 软件资讯 · 发布时间: 6年前

内容简介:Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交...

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Apache Spark 2.4.4 发布, 开源集群计算环境Apache Spark 2.4.4 发布, 开源集群计算环境

2.4.4 版本包含稳定性修复的维护版本,内容如下:

  • 修复十进制 toScalaBigInt/toJavaBigInteger 表示不适合长的十进制的问题
  • 修复 PushProjectionThroughUnion 可空性问题
  • 修复 From_Avro 在本地模式下不修改其他行中的变量
  • Spark 2.4.3 当 HiveUDAF 遇到 0 行时意外抛出 NPE。与其他版本一样,修复后返回 NULL
  • 修复 PySparkSocket 服务器与 JVM 连接线程的同步
  • KafkaOffsetRangeCalculator.getRange 可能会减少偏移量
  • 缓存一个不确定的 RDD 会导致在重新运行阶段时出现不正确的结果
  • Spark 2.2 引入了 LinearSVCModel.setWeightCol 方法,这种方法是不正确的。它在 2.4.4 中被弃用,在 3.0.0 中将被删除

详情见说明:

https://spark.apache.org/releases/spark-release-2-4-4.html


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Java多线程编程实战指南(设计模式篇)

Java多线程编程实战指南(设计模式篇)

黄文海 / 电子工业出版社 / 2015-10 / 59.00

随着CPU 多核时代的到来,多线程编程在充分利用计算资源、提高软件服务质量方面扮演了越来越重要的角色。而 解决多线程编程中频繁出现的普遍问题可以借鉴设计模式所提供的现成解决方案。然而,多线程编程相关的设计模式书籍多采用C++作为描述语言,且书中所举的例子多与应用开发人员的实际工作相去甚远。《Java多线程编程实战指南(设计模式篇)》采用Java(JDK1.6)语言和UML 为描述语言,并结合作者多......一起来看看 《Java多线程编程实战指南(设计模式篇)》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具