内容简介：我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么？>保留log4j：添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender？但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好？ ryantenney / log4j-r
我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么？
>保留log4j：添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender？但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好？ ryantenney / log4j-redis-appender logstash / log4j-jsonevent-layout OR pavlobaron / log4j2redis？
>迁移到slf4j logback：从spark-core中排除slf4j-log4j12,添加log4j-over-slf4j …并使用带有com.cwbase.logback.RedisAppender的logback.xml？看起来这会带来依赖性问题.它会隐藏已在log4j.properties中定义的log4j.rootLoggers吗？
>我错过了什么？
你对此有何看法？
更新
看起来我无法获得第二种选择.运行测试很好但是使用spark-submit(使用–conf spark.driver.userClassPathFirst = true)总是会遇到可怕的“在类路径上检测到log4j-over-slf4j.jar和slf4j-log4j12.jar”,抢占StackOverflowError.“
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- Linux 上将 txt 导入 mysql
- 记在Windows平台上将proto翻译为JS的一个小坑
- MACOSX上将ECLIPSE设置为C++开发比特币的IDE
- Elasticsearch 集群搭建和集群原理
- Zookeeper集群 + Kafka集群 + KafkaOffsetMonitor 监控
- Zookeeper学习系列【二】Zookeeper 集群章节之集群搭建
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
HTML 编码/解码
HTML 编码/解码
Markdown 在线编辑器
Markdown 在线编辑器