在Amazon EMR集群上将apache-spark loggin发送到redis / logstash的最佳方式

栏目: 数据库 · 发布时间: 5年前

内容简介:我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么?>保留log4j:添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender?但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好? ryantenney / log4j-r

我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么?

>保留log4j:添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender?但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好? ryantenney / log4j-redis-appender logstash / log4j-jsonevent-layout OR pavlobaron / log4j2redis?

>迁移到slf4j logback:从spark-core中排除slf4j-log4j12,添加log4j-over-slf4j …并使用带有com.cwbase.logback.RedisAppender的logback.xml?看起来这会带来依赖性问题.它会隐藏已在log4j.properties中定义的log4j.rootLoggers吗?

>我错过了什么?

你对此有何看法?

更新

看起来我无法获得第二种选择.运行测试很好但是使用spark-submit(使用–conf spark.driver.userClassPathFirst = true)总是会遇到可怕的“在类路径上检测到log4j-over-slf4j.jar和slf4j-log4j12.jar”,抢占StackOverflowError.“


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

ASP.NET 2.0技术内幕

ASP.NET 2.0技术内幕

埃斯帕斯托 / 施平安 / 清华大学出版社 / 2006-8 / 68.00元

《ASP.NET2.0技术内幕》围绕着ASP.NET 2.0是Web开发的重要分水岭这一主题,采用自顶向下的方式介绍ASP.NET 2.0的最新编程实践,从更广泛的特征到具体的实现和编程细节,充分展示了ASP.NET的最新编程实践。全书共15章,主题涉及HTTP运行库、安全性、缓存、状态管理、控件、数据绑定和数据访问。   《ASP.NET2.0技术内幕》主题丰富,讲解透彻,包含大量实例,是......一起来看看 《ASP.NET 2.0技术内幕》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具