内容简介：TODO执行为了避免每次启动 Spark 应用都重新分发 JAR，可以通过配置
HDFS 调优
数据本地化
TODO
YARN 调优
加速应用启动
执行 spark-shell --master yarn
或 spark-submit --master yarn
在 YARN 上启动 Spark 的时候，会将 {SPARK_HOME}/jars
目录下的 JAR 文件压缩成 ZIP 文件，上传至 HDFS /user/{user}/.sparkStaging 应用目录下
为了避免每次启动 Spark 应用都重新分发 JAR，可以通过配置 spark.yarn.jars 指定 JAR 在 HDFS 的路径。
拷贝 Spark 依赖包到 HDFS：
hdfs dfs -copyFromLocal {SPARK_HOME}/jars /lib/spark
编辑 $SPARK_HOME/conf/spark-defaults.conf 文件：
spark.yarn.jars=hdfs://host:port/lib/spark/jars/*.jar
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
