在Amazon EMR集群上将apache-spark loggin发送到redis / logstash的最佳方式

栏目: 数据库 · 发布时间: 5年前

内容简介:我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么?>保留log4j:添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender?但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好? ryantenney / log4j-r

我在Amazon EMR集群上提交作业.我希望将所有spark日志记录发送到redis / logstash.在EMR下配置spark的正确方法是什么?

>保留log4j:添加一个引导操作来修改/home/hadoop/spark/conf/log4j.properties以添加一个appender?但是,这个文件已经包含很多东西,并且是hadoop conf文件的符号链接.我不想过多地使用它,因为它已经包含了一些rootLogger.哪个appender会做得最好? ryantenney / log4j-redis-appender logstash / log4j-jsonevent-layout OR pavlobaron / log4j2redis?

>迁移到slf4j logback:从spark-core中排除slf4j-log4j12,添加log4j-over-slf4j …并使用带有com.cwbase.logback.RedisAppender的logback.xml?看起来这会带来依赖性问题.它会隐藏已在log4j.properties中定义的log4j.rootLoggers吗?

>我错过了什么?

你对此有何看法?

更新

看起来我无法获得第二种选择.运行测试很好但是使用spark-submit(使用–conf spark.driver.userClassPathFirst = true)总是会遇到可怕的“在类路径上检测到log4j-over-slf4j.jar和slf4j-log4j12.jar”,抢占StackOverflowError.“


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

XSS跨站脚本攻击剖析与防御

XSS跨站脚本攻击剖析与防御

邱永华 / 人民邮电出版社 / 2013-9-1 / 49.00元

《XSS跨站脚本攻击剖析与防御》是一本专门剖析XSS安全的专业书,总共8章,主要包括的内容如下。第1章 XSS初探,主要阐述了XSS的基础知识,包括XSS的攻击原理和危害。第2章 XSS利用方式,就当前比较流行的XSS利用方式做了深入的剖析,这些攻击往往基于客户端,从挂马、窃取Cookies、会话劫持到钓鱼欺骗,各种攻击都不容忽视。第3章 XSS测试和利用工具,介绍了一些常见的XSS测试工具。第4......一起来看看 《XSS跨站脚本攻击剖析与防御》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

html转js在线工具
html转js在线工具

html转js在线工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具