最快的 Logstash 替代方案 go-stash v1.0.1 发布

栏目: 软件资讯 · 发布时间: 2年前

内容简介：go-stash v1.0.1 现已发布。go-stash是一个高效的从Kafka获取，根据配置的规则进行处理，然后发送到ElasticSearch集群的工具。 go-stash有大概logstash 5倍的吞吐性能，并且部署简单，一个可执行文件即可。安装 ...

go-stash v1.0.1 现已发布。go-stash是一个高效的从Kafka获取，根据配置的规则进行处理，然后发送到ElasticSearch集群的工具。

go-stash有大概logstash 5倍的吞吐性能，并且部署简单，一个可执行文件即可。

最快的 Logstash 替代方案 go-stash v1.0.1 发布

安装

cd stash && go build stash.go

Quick Start

可执行文件方式

./stash -f etc/config.yaml

docker 方式，确保配置文件路径正确

docker run -d -v `pwd`/etc:/app/etc kevinwan/go-stash

config.yaml示例如下:

Clusters:
- Input:
    Kafka:
      Name: go-stash
      Log:
        Mode: file
      Brokers:
      - "172.16.48.41:9092"
      - "172.16.48.42:9092"
      - "172.16.48.43:9092"
      Topic: ngapplog
      Group: stash
      Conns: 3
      Consumers: 10
      Processors: 60
      MinBytes: 1048576
      MaxBytes: 10485760
      Offset: first
  Filters:
  - Action: drop
    Conditions:
      - Key: status
        Value: 503
        Type: contains
      - Key: type
        Value: "app"
        Type: match
        Op: and
  - Action: remove_field
    Fields:
    - message
    - source
    - beat
    - fields
    - input_type
    - offset
    - "@version"
    - _score
    - _type
    - clientip
    - http_host
    - request_time
  Output:
    ElasticSearch:
      Hosts:
      - "http://172.16.188.73:9200"
      - "http://172.16.188.74:9200"
      - "http://172.16.188.75:9200"
      Index: "go-stash-{{yyyy.MM.dd}}"
      MaxChunkBytes: 5242880
      GracePeriod: 10s
      Compress: false
      TimeZone: UTC

详细说明

input

Conns: 3
Consumers: 10
Processors: 60
MinBytes: 1048576
MaxBytes: 10485760
Offset: first

Conns

链接kafka的链接数，链接数依据cpu的核数，一般<= CPU的核数；

Consumers

每个连接数打开的线程数，计算规则为Conns * Consumers，不建议超过分片总数，比如topic分片为30，Conns *Consumers <= 30

Processors

处理数据的线程数量，依据CPU的核数，可以适当增加，建议配置：Conns * Consumers * 2 或 Conns * Consumers * 3，例如：60 或 90

MinBytes MaxBytes

每次从kafka获取数据块的区间大小，默认为1M~10M，网络和IO较好的情况下，可以适当调高

Offset

可选last和false，默认为last，表示从头从kafka开始读取数据

Filters

- Action: drop
  Conditions:
    - Key: k8s_container_name
      Value: "-rpc"
      Type: contains
    - Key: level
      Value: info
      Type: match
      Op: and
- Action: remove_field
  Fields:
    - message
    - _source
    - _type
    - _score
    - _id
    - "@version"
    - topic
    - index
    - beat
    - docker_container
    - offset
    - prospector
    - source
    - stream
- Action: transfer
  Field: message
  Target: data

- Action: drop

删除标识：满足此条件的数据，在处理时将被移除，不进入es
按照删除条件，指定key字段及Value的值，Type字段可选contains(包含)或match(匹配)
拼接条件Op: and，也可写or

- Action: remove_field

移除字段标识：需要移除的字段，在下面列出即可

- Action: transfer

转移字段标识：例如可以将message字段，重新定义为data字段

Output

Index

索引名称，indexname-{{yyyy.MM.dd}}表示年.月.日，也可以用{{yyyy-MM-dd}}，格式自己定义

MaxChunkBytes

每次往ES提交的bulk大小，默认是5M，可依据ES的io情况，适当的调整

GracePeriod

默认为10s，在程序关闭后，在10s内用于处理余下的消费和数据，优雅退出

Compress

数据压缩，压缩会减少传输的数据量，但会增加一定的处理性能，可选值true/false，默认为false

TimeZone

默认值为UTC，世界标准时间

ES性能写入测试

测试环境

stash服务器：3台 4核 8G
es服务器： 15台 16核 64G

关键配置

- Input:
      Conns: 3
      Consumers: 10
      Processors: 60
      MinBytes: 1048576
      MaxBytes: 10485760
  Filters:
  - Action: remove_field
    Fields:
    - message
    - source
    - beat
    - fields
    - input_type
    - offset
    - request_time
  Output:
      Index: "nginx_pro-{{yyyy.MM.d}}"
      Compress: false
      MaxChunkBytes: 5242880
      TimeZone: UTC

写入速度平均在15W/S以上

最快的 Logstash 替代方案 go-stash v1.0.1 发布

本次更新内容：

1. 升级了go-zero至v1.2.5

2. 升级了go-queue至v1.1.1

项目地址：

gitee: https://gitee.com/kevwan/go-stash
github: https://github.com/kevwan/go-stash

以上所述就是小编给大家介绍的《最快的 Logstash 替代方案 go-stash v1.0.1 发布》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

小圈子·大社交

Paul Adams / 王志慧 / 人民邮电出版社 / 2013-1 / 29.00元

网络正在脱离以内容为核心构建的方式，转向以人为核心重新构建。这样深远的变革将影响我们制定商业策略、设计以及营销和广告的方式。本书作者先后在谷歌和Facebook供职，对于社交网络有深入的研究和丰富的实战经验。他以学术界和工业界最新的调查研究为基础，阐述了人们如何通过社交圈子相互联系的规律，探讨了理念和品牌信息如何通过社交网络传播开来的过程。书中介绍了许多实际的例子，通过这些鲜活的实例，你将......一起来看看《小圈子·大社交》这本书的介绍吧!

码农工具

最快的 Logstash 替代方案 go-stash v1.0.1 发布

安装

Quick Start

详细说明

input

Conns

Consumers

Processors

MinBytes MaxBytes

Offset

Filters

- Action: drop

- Action: remove_field

- Action: transfer

Output

Index

MaxChunkBytes

GracePeriod

Compress

TimeZone

ES性能写入测试

测试环境

关键配置

写入速度平均在15W/S以上

小圈子·大社交

Base64 编码/解码

正则表达式在线测试

RGB CMYK 转换工具