内容简介:在Spark中使用log4j2
Spark默认使用的log4j 1.2,它的配置文件就在Spark conf文件下,比如说/etc/spark/conf/log4j.properties.
如果我们想要在spark中使用log4j2,则情况比较复杂了。首先需要事先将log4j2的jar包复制到master节点和全部slave节点上, 将它的路径加入到Spark的classpath中,然后将log4j2.xml文件加入到Spark conf中。
把log42.xml放到resources文件夹中,将log4j2的jar事先复制到各个节点的log4j2文件夹中,那么运行spark程序的command就是:
spark-submit --files "/home/hadoop/resources/log4j2.xml" --driver-java-options=-Dlog4j.configurationFile=resources/log4j2.xml --conf "spark.executor.extraJavaOptions=-Dlog4j.configurationFile=resources/log4j2.xml" --conf "spark.driver.extraClassPath=:/home/hadoop/log4j2/*" --conf "spark.executor.extraClassPath=:/home/hadoop/log4j2/*"
–files 会将log4j2.xml文件复制到yarn每个executor工作目录下面。注意Spark会为复制的文件创建相应的文件夹, 所以在executor中读取文件的路径是 resources/log4j2.xml
而不是 ./log4j2.xml
.
以上所述就是小编给大家介绍的《在Spark中使用log4j2》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- RecyclerView使用指南(一)—— 基本使用
- 如何使用Meteorjs使用URL参数
- 使用 defer 还是不使用 defer?
- 使用 Typescript 加强 Vuex 使用体验
- [译] 何时使用 Rust?何时使用 Go?
- UDP协议的正确使用场合(谨慎使用)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
你凭什么做好互联网
曹政 / 中国友谊出版公司 / 2016-12 / 42.00元
为什么有人可以预见商机、超越景气,在不确定环境下表现更出色? 在规则之外,做好互联网,还有哪些关键秘诀? 当环境不给机会,你靠什么翻身? 本书为“互联网百晓生”曹政20多年互联网经验的总结,以严谨的逻辑思维分析个人与企业在互联网发展中的一些错误思想及做法,并给出正确解法。 从技术到商业如何实现,每个发展阶段需要匹配哪些能力、分解哪些目标、落实哪些策略都一一点出,并在......一起来看看 《你凭什么做好互联网》 这本书的介绍吧!