内容简介：我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么？>保留log4j：添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender？但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好？ ryantenney / log4j-r
我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么？
>保留log4j：添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender？但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好？ ryantenney / log4j-redis-appender logstash / log4j-jsonevent-layout OR pavlobaron / log4j2redis？
>迁移到slf4j logback：从spark-core中排除slf4j-log4j12,添加log4j-over-slf4j …并使用带有com.cwbase.logback.RedisAppender的logback.xml？看起来这会带来依赖性问题.它会隐藏已在log4j.properties中定义的log4j.rootLoggers吗？
>我错过了什么？
你对此有何看法？
更新
看起来我无法获得第二种选择.运行测试很好但是使用spark-submit(使用–conf spark.driver.userClassPathFirst = true)总是会遇到可怕的“在类路径上检测到log4j-over-slf4j.jar和slf4j-log4j12.jar”,抢占StackOverflowError.“
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- Linux 上将 txt 导入 mysql
- 记在Windows平台上将proto翻译为JS的一个小坑
- MACOSX上将ECLIPSE设置为C++开发比特币的IDE
- Elasticsearch 集群搭建和集群原理
- Zookeeper集群 + Kafka集群 + KafkaOffsetMonitor 监控
- Zookeeper学习系列【二】Zookeeper 集群章节之集群搭建
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
JavaScript & jQuery
David Sawyer McFarland / O Reilly / 2011-10-28 / USD 39.99
You don't need programming experience to add interactive and visual effects to your web pages with JavaScript. This Missing Manual shows you how the jQuery library makes JavaScript programming fun, ea......一起来看看 《JavaScript & jQuery》 这本书的介绍吧!
