Spark 调优(二):JVM 调优

栏目: Java · 发布时间: 6年前

内容简介:Spark 由 Scala/Java 编写的,Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程,依赖 Java 内存管理和 GC。在生产环境中,通常使用几十上百甚至更大的内存,这在传统的 Java 应用中极为少见。Spark 通过开启 JMX:

Spark 由 Scala/Java 编写的,Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程,依赖 Java 内存管理和 GC。在生产环境中,通常使用几十上百甚至更大的内存,这在传统的 Java 应用中极为少见。

Spark 通过 spark.driver.extraJavaOptionsspark.executor.extraJavaOptions 可以为 Driver 和 Executor 添加额外的 JVM 选项。

GC 监控

实时监控

开启 JMX:

-Dcom.sun.management.jmxremote.port=<端口号> -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false

即可以通过 JDK 自带的 GUI 工具 jconsolejstat 实时监控程序。

以使用 jstat 查看 GC 为例:

jstat -gc <进程号>@<主机名>:<端口号>

关于 JMX 的更多信息,点击 Monitoring and Management Using JMX Technology 查看。

打印信息

输出 GC 信息到 Worker 节点的 stdout 输出:

-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps

G1 垃圾收集器

Tips

使用 G1 垃圾收集器, -XX:+UseG1GC

如果任务从 HDFS 读取数据,任务使用的内存大小可以通过从 HDFS 数据块大小估计出来。注意,解压缩之后的数据块经常增长两到三倍。所以,如果有四个任务,HDFS 块大小为 128MB,估计 Eden 大小为 4*3*128MB

内存大于 4GB 小于 32GB, -XX:+UseCompressedOops 启动指针压缩。

参考


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

编程算法新手自学手册

编程算法新手自学手册

管西京 / 机械工业 / 2012-1 / 69.80元

《编程算法新手自学手册》主要内容简介:算法是指在有限步骤内求解某一问题所使用的一组定义明确的规则。程序员都会看重数据结构和算法的作用,水平越高,就越能理解算法的重要性。算法不仅是运算工具,更是程序的灵魂。《编程算法新手自学手册》循序渐进、由浅入深地详细讲解了基于C语言算法的核心技术,并通过具体实例的实现过程演练了各个知识点的具体使用流程。全书共11章,分为4篇。1~2章是基础篇,介绍算法开发所必需......一起来看看 《编程算法新手自学手册》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器