内容简介：TODO执行为了避免每次启动 Spark 应用都重新分发 JAR，可以通过配置
HDFS 调优
数据本地化
TODO
YARN 调优
加速应用启动
执行 spark-shell --master yarn
或 spark-submit --master yarn
在 YARN 上启动 Spark 的时候，会将 {SPARK_HOME}/jars
目录下的 JAR 文件压缩成 ZIP 文件，上传至 HDFS /user/{user}/.sparkStaging 应用目录下
为了避免每次启动 Spark 应用都重新分发 JAR，可以通过配置 spark.yarn.jars 指定 JAR 在 HDFS 的路径。
拷贝 Spark 依赖包到 HDFS：
hdfs dfs -copyFromLocal {SPARK_HOME}/jars /lib/spark
编辑 $SPARK_HOME/conf/spark-defaults.conf 文件：
spark.yarn.jars=hdfs://host:port/lib/spark/jars/*.jar
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
深入浅出数据分析
Michael Milton / 李芳 / 电子工业出版社 / 2009 / 88.00元
《深入浅出数据分析》以类似“章回小说”的活泼形式，生动地向读者展现优秀的数据分析人员应知应会的技术：数据分析基本步骤、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧；正文以后，意犹未尽地以三篇附录介绍数据分析十大要务、R工具及ToolPak工具，在充分展现目标知识以外，为读者搭建了走向深入研究的桥梁。 本书构思跌宕......一起来看看 《深入浅出数据分析》 这本书的介绍吧!
