ELK(Elasticsearch,Logstash,Kibana) 搭建 同步 MySQL 及 用户权限安全设置

栏目: 数据库 · 发布时间: 5年前

内容简介:ElasticsearchLogstashKibana

本文章用的elastic相关组件版本: 6.4.1

一, 准备

Elasticsearch

Logstash

Kibana

jdk 8 (主要根据logstash的版本)

下载mysql-connector-java.jar 找对应 MySQL 的版本

具体每个插件的安装方式请查看官方文档, 很简单的, WIN下的都是绿色版, Linux的安装目录基本是在 /usr/share/对应软件 ,配置文件目录在 /etc/对应软件 下面.

二, 配置

1, Logstash的配置

input的配置

https://www.elastic.co/guide/...

增量更新的主要几个参数

use_column_value => true //是否使用自定义标记列
tracking_column => "id" //指定的列
record_last_run => true //是否记录最后运行的指标
last_run_metadata_path => "[path]" //记录的指标存储路径, 当多个input的时候, 这个是必须要设置的, 否则多个input会共用一个
jdbc_paging_enabled => true //是否启用分页查询
jdbc_page_size => "[number]" //每次查询多少
statement => "SELECT * FROM db_name WHERE id > :sql_last_value" //记住这里的 :sql_last_value

多个input的时候, 需要这个配置后面的 output用if else 时候需要作为判断依据

type => ""

output配置mappings

https://www.elastic.co/guide/...
template => "mappings配置的路径, 一般json格式"
template_name => ""
template_overwrite => true

output的判断语法

if EXPRESSION {
    //...
} else if EXPRESSION {
    //...
} else {
    //...
}

2, 安全设置(用户认证相关设置)

修改Elasticsearch设置

修改 elasticsearch.yml , 添加两个配置项:

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

在下面更新 license 的时候, 请将以上设置为 false (也可以不设置为false, 影响可能不大)

X-PACK设置:

不过在用这个命令之前, 是需要依赖 x-pack 模块的, Elastic 6.3.x 后面的版本, 就内置了这个模块,这个模块的使用, 不是免费的, 是 收费 的, 免费和收费的区别 , 网上有 破解版 , 我暂时用破解版做演示, 请大家还是使用正版吧. 破解版替换完原版文件后, 需要自己去官网申请一个 basic 授权的 license 文件, 这是一个json文件, 修改里面的 typeplatinum , expiry_date_in_millis2855980923000 , 然后再在 KibanaManagementLicense Management 的地方上传修改后的 License 文件.

初始化用户及密码

命令: elastic/bin/elastic-set-password

这个命令只有两个参数 autointeractive 一个是自动, 一个是交互, 交互的方式就是可以自己设置密码, 自动的我没用过, 这个命令会设置5个用户的密码: elastic , kibana , logstash_system , beats_system , apm_system_users ,其中 elastic 这个用户的权限最大.

在完成以上步骤后, 记得重启 ElasticsearchKibana , 在重启 Kibana 的时候, 会遇到一些 warningerror ,先不管 error ,有两个 warning 需要先解决, 后面的 error 自然就没有了. 这两个应该是关于 xpack.reporting.encryptionKeyxpack.security.encryptionKey 的.参考 https://www.elastic.co/guide/...https://www.elastic.co/guide/...

xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"

再重启应该就没有 error 了, 这个时候就可以用之前设置密码的那几个账号登录了, 用 elastic 账号登录, 还可以设置其他几个账号的权限了.

三, 运行Logstash

logstash -f [指定配置文件的路径.conf]


以上所述就是小编给大家介绍的《ELK(Elasticsearch,Logstash,Kibana) 搭建 同步 MySQL 及 用户权限安全设置》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Eloquent JavaScript

Eloquent JavaScript

Marijn Haverbeke / No Starch Press / 2011-2-3 / USD 29.95

Eloquent JavaScript is a guide to JavaScript that focuses on good programming techniques rather than offering a mish-mash of cut-and-paste effects. The author teaches you how to leverage JavaScript's......一起来看看 《Eloquent JavaScript》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具