内容简介：Spark 由 Scala/Java 编写的，Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程，依赖 Java 内存管理和 GC。在生产环境中，通常使用几十上百甚至更大的内存，这在传统的 Java 应用中极为少见。Spark 通过开启 JMX：
Spark 由 Scala/Java 编写的，Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程，依赖 Java 内存管理和 GC。在生产环境中，通常使用几十上百甚至更大的内存，这在传统的 Java 应用中极为少见。
Spark 通过 spark.driver.extraJavaOptions
和 spark.executor.extraJavaOptions
可以为 Driver 和 Executor 添加额外的 JVM 选项。
GC 监控
实时监控
开启 JMX：
-Dcom.sun.management.jmxremote.port=<端口号> -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false
即可以通过 JDK 自带的 GUI 工具 jconsole
或 jstat
实时监控程序。
以使用 jstat 查看 GC 为例：
jstat -gc <进程号>@<主机名>:<端口号>
关于 JMX 的更多信息，点击 Monitoring and Management Using JMX Technology 查看。
打印信息
输出 GC 信息到 Worker 节点的 stdout 输出：
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps
G1 垃圾收集器
Tips
使用 G1 垃圾收集器， -XX:+UseG1GC
。
如果任务从 HDFS 读取数据，任务使用的内存大小可以通过从 HDFS 数据块大小估计出来。注意，解压缩之后的数据块经常增长两到三倍。所以，如果有四个任务，HDFS 块大小为 128MB，估计 Eden 大小为 4*3*128MB
。
内存大于 4GB 小于 32GB， -XX:+UseCompressedOops
启动指针压缩。
参考
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
企业应用架构模式
Martin Fowler、王怀民、周斌 / 王怀民、周斌 / 机械工业出版社 / 2004-7 / 49.00元
本书作者是当今面向对象软件开发的权威，他在一组专家级合作者的帮助下，将40多种经常出现的解决方案转化成模式，最终写成这本能够应用于任何一种企业应用平台的、关于解决方案的、不可或缺的手册。本书获得了2003年度美国软件开发杂志图书类的生产效率奖和读者选择奖。本书分为两大部分。第一部分是关于如何开发企业应用的简单介绍。第二部分是本书的主体，是关于模式的详细参考手册，每个模式都给出使用方法和实现信息，并一起来看看 《企业应用架构模式》 这本书的介绍吧!
