Spark 2.4.0 发布了

Spark2.4.0 今天官网发布，这是一个大好消息。

Spark 2.4.0 是 2.x 的第五个发型版本。官方发布消息链接如下：

http://spark.apache.org/releases/spark-release-2-4-0.html

此版本继续关注可用性，稳定性和优化，浪尖在这里摘要翻译一下， 主要的关注点：

SparkCore 和 SQL

• 增加了 Barrier ExecutionMode ，可以更好的和深度学习的框架整合

• 同时引入了 30+ 内置函数和 higher-order 函数可以处理更复杂的数据类型

• 改善了与 k8s 的整合

• 支持 scala 2.12

• 内置支持了 Avro格式 数据源，这个感情好，后面浪尖给出测试案例，以后有 pb 的支持那就更好了。

性能和稳定性

这个优化比较多，值得关注

• Connector 优化

这个优化主要是 Parquet ， orc ， csv 及 avro 等的优化升级

MLlib

• MLlib 支持了图像格式的数据源

StructuredStreaming

• 使用 foreachBatch （支持 Python ， Scala 和 Java ）将每个微批的输出行暴露为 DataFrame 。

• 为 Python API 增加了 foreach 和 ForeachWriter

• 支持使用“ kafka.isolation.level ”读取使用事务的生产者生产到 kafka topic 的已提交消息。

Spark SQL 的升级页面里也有对 Spark 2.4 在 SQL 方面的调整优化，大家有兴趣也可以看看，有没有自己关注的 bug 被修复了。

http://spark.apache.org/docs/latest/sql-migration-guide-upgrade.html#upgrading-from-spark-sql-23-to-24

细心的同学注意到了， Spark Streaming 已经稳定到不用更新了，，，还是说 Spark Streaming 已经凉凉了。

推荐阅读：

spark源码导读一

解惑:这个SPARK任务是数据倾斜了吗？

欢迎转发，点赞