通用的日志收集工具 Logkit

• 授权协议: Apache-2.0
• 开发语言: Google Go JavaScript
• 操作系统: 跨平台
• 软件首页: https://github.com/qiniu/logkit
• 软件文档: https://github.com/qiniu/logkit/wiki
• 官方下载: https://github.com/qiniu/logkit/wiki/Download

软件介绍

logkit是七牛Pandora开发的一个通用的日志收集工具，可以将不同数据源的数据方便的发送到Pandora进行数据分析，除了基本的数据发送功能，logkit还有容错、并发、监控、删除等功能。

logkit详细的文档可以参见WIKI页面。

支持的数据源

1. 文件(包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志)

2. MySQL

3. Microsoft SQL Server(MS SQL)

4. Elasticsearch

5. MongoDB

6. Kafka

7. Redis

8. TCP/UDP/Unix Socket

工作方式

logkit本身支持多种数据源，并且可以同时发送多个数据源的数据到Pandora，每个数据源对应一个逻辑上的runner，一个runner负责一个数据源的数据推送，工作原理如下图所示

本文地址：https://codercto.com/soft/d/14967.html