内容简介：0.16.1 2018-01-16 calvin * 修正了插件logpipe-input-file的转档时重复读取问题 0.16.0 2018-01-15 calvin * 优化了插件logpipe-output-ek性能...
0.16.1 2018-01-16 calvin
* 修正了插件logpipe-input-file的转档时重复读取问题
0.16.0 2018-01-15 calvin
* 优化了插件logpipe-output-ek性能，性能提高了一倍
* 插件logpipe-input-file新增配置参数max_append_count，均匀处理所有文件增长事件
* 扩大了日志缓冲区
0.15.0 2018-01-03 calvin
* 插件logpipe-output-tcp支持轮询算法的负载均衡输出
0.14.2 2018-01-03 calvin
* 插件logpipe-output-ek新增配置参数iconv_from和iconv_to用于转换编码
* 插件logpipe-output-ek连接ElasticSearch改为长连接模式，以提高性能
0.14.1 2017-12-30 calvin
* 插件logpipe-input-file配置参数file改成file
* 插件logpipe-input-file新增配置参数exclude_files用于过滤文件名
0.14.0 2017-12-29 calvin
* 新增插件logpipe-output-ek，自带系统（CPU、内存、硬盘、网络）监控示例
0.13.0 2017-12-27 calvin
* 新增插件logpipe-output-hdfs
0.12.0 2017-12-22 calvin
* 插件logpipe-input-file新增配置参数file，用于过滤采集文件名
0.11.0 2017-12-21 calvin
* 新增插件logpipe-input-exec用于执行长命令捕获输出
0.10.1 2017-12-21 calvin
* 修正了logpipe自身日志转档后没有清空循环日志的问题
0.10.0 2017-12-20 calvin
* logpipe-output-file新增配置参数rotate_size,exec_after_rotating
* logpipe日志大小转档后缀改为"-YYYYMMDD_hhmmss_06us"
-------------------------------------------------------------------------
# 1. 概述
在集群化环境里，日志采集是重要基础设施。
开源主流解决方案是基于flume-ng，但在实际使用中发现flume-ng存在诸多问题，比如flume-ng的spoolDir采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用exec采集器搭配tail
-F命令，但tail
-F命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如logstash由于是 JAVA 开发，内存占用和性能都不能达到最优。
作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费CPU低对应用影响尽可能小，要能异步实时追踪日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了logpipe。
logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。
logpipe的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集 工具 如flume-ng、logstash介绍文档通篇不提采集方式是否实时还是周期性的，这很关键。
logpipe概念朴实、使用方便、配置简练，没有如sink等一大堆新名词。
logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor)，派生一个工作进程(worker)，监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件，进入事件循环，任一input插件产生消息后输出给所有output插件。
logpipe自带了5个插件（今后将开发更多插件），分别是：
* logpipe-input-file
用inotify异步实时监控日志目录，一旦有文件新建或文件增长事件发生（注意：不是周期性轮询文件修改时间和大小），立即捕获文件名和读取文件追加数据。该插件拥有文件大小转档功能，用以替代应用日志库对应功能，提高应用日志库写日志性能。该插件支持数据压缩。
* logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。
* logpipe-input-tcp 创建TCP服务侦听端，接收客户端连接，一旦客户端连接上有新消息到来，立即读取。
* logpipe-output-tcp 创建TCP客户端，连接服务端，一旦输入插件有消息产生后输出到该连接。
* logpipe-input-exec 执行长命令并捕获输出
* logpipe-output-hdfs 一旦输入插件有消息产生后用相同的文件名落地到HDFS中。该插件支持数据解压。
使用者可根据自身需求，按照插件开发规范，开发定制插件，如IBMMQ输入插件、HDFS输出插件等。
logpipe配置采用JSON格式，层次分明，编写简洁，如示例：
{
"log" :
{
"log_file" : "/tmp/logpipe_case1_collector.log" ,
"log_level" : "INFO"
} ,
"inputs" :
[
{ "plugin":"so/logpipe-input-file.so" , "path":"/home/calvin/log" , "compress_algorithm":"deflate" }
] ,
"outputs" :
[
{ "plugin":"so/logpipe-output-tcp.so" , "ip":"127.0.0.1" , "port":10101 }
]
}【声明】文章转载自：开源中国社区 [http://www.oschina.net]
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
