内容简介：我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么？>保留log4j：添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender？但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好？ ryantenney / log4j-r
我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么？
>保留log4j：添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender？但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好？ ryantenney / log4j-redis-appender logstash / log4j-jsonevent-layout OR pavlobaron / log4j2redis？
>迁移到slf4j logback：从spark-core中排除slf4j-log4j12,添加log4j-over-slf4j …并使用带有com.cwbase.logback.RedisAppender的logback.xml？看起来这会带来依赖性问题.它会隐藏已在log4j.properties中定义的log4j.rootLoggers吗？
>我错过了什么？
你对此有何看法？
更新
看起来我无法获得第二种选择.运行测试很好但是使用spark-submit(使用–conf spark.driver.userClassPathFirst = true)总是会遇到可怕的“在类路径上检测到log4j-over-slf4j.jar和slf4j-log4j12.jar”,抢占StackOverflowError.“
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- Linux 上将 txt 导入 mysql
- 记在Windows平台上将proto翻译为JS的一个小坑
- MACOSX上将ECLIPSE设置为C++开发比特币的IDE
- Elasticsearch 集群搭建和集群原理
- Zookeeper集群 + Kafka集群 + KafkaOffsetMonitor 监控
- Zookeeper学习系列【二】Zookeeper 集群章节之集群搭建
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Scrum精髓
Kenneth Rubin / 姜信宝、米全喜、左洪斌、（审校）徐毅 / 清华大学出版社 / 2014-6-1 / CNY 79.00
短短几年时间，Scrum跃升为敏捷首选方法，在全球各地得以普遍应用。针对如何用好、用巧这个看似简单的框架，本书以通俗易懂的语言、条理清晰的脉络阐述和提炼出Scrum的精髓。全书共4部分23章，阐述了七大核心概念：Scrum框架，敏捷原则，冲刺，需求和用户故事，产品列表，估算与速率，技术债；三大角色：产品负责人，ScrumMaster，开发团队以及Scrum团队构成：Scrum规划原则及四大规划活动......一起来看看 《Scrum精髓》 这本书的介绍吧!
