如何使用 Pulsar Dashboard 监控

栏目: 数据库 · 发布时间: 5年前

内容简介:作者:高天赐编辑:IrenePulsar 自带 Dashboard,可对 broker、bookie、ZooKeeper 集群和 topic 等进行监控和统计。本文介绍如何在裸机中使用 Prometheus 和 Grafana 搭建 Pulsar 集群,监控 Dashboard,实现对 namespace、topic、broker、bookie、ZooKeeper 等指标和组件的监控和统计。

作者:高天赐

编辑:Irene

Pulsar 自带 Dashboard,可对 broker、bookie、ZooKeeper 集群和 topic 等进行监控和统计。本文介绍如何在裸机中使用 Prometheus 和 Grafana 搭建 Pulsar 集群,监控 Dashboard,实现对 namespace、topic、broker、bookie、ZooKeeper 等指标和组件的监控和统计。

一、准备资源

  1. 一台 Linux 裸机服务器,配置 4G,2 核。

  2. Prometheus 安装包(版本号 2.7.1)。

  3. Grafana 安装包(版本号 5.4.2)。

二、下载解压 Prometheus、Grafana 安装包

用如下命令下载、解压 Prometheus 和 Grafana 安装包。

# Prometheus 安装包下载

wget https://github.com/prometheus/prometheus/releases/download/v2.7.1/prometheus-2.7.1.linux-amd64.tar.gz

# 解压安装包

tar -zxvf  prometheus-2.7.1.linux-amd64.tar.gz

# Grafana 安装包下载

wget https://dl.grafana.com/oss/release/grafana-5.4.2.linux-amd64.tar.gz

# 解压安装包

tar -zxvf grafana-5.4.2.linux-amd64.tar.gz

# 解压后,我的文件路径如下

# /home/admin/monitor/prometheus-2.7.1.linux-amd64

# /home/admin/monitor/grafana-5.4.2

三、配置 Prometheus 的 prometheus.yml 配置文件

  1. 修改集群名(cluster: pulsar-cluster)

  2. 配置 broker 节点、IP 和端口号

  3. 配置 bookie 节点、IP 和端口号

  4. 配置 ZooKeeper 节点、IP 和端口号

说明

  1. 本文介绍的测试集群是 3 台 Linux 服务器。

  2. 每台服务器上都部署一个 broker 节点、一个 bookie 节点、一个 ZooKeeper 节点。

  3. 3 台服务器的测试环境 IP 地址设定如下:

    10.0.100.60, 10.0.100.70, 10.0.100.80。

  4. 搭建 Pulsar 集群,参考 在多台 Linux 服务器上搭建 Pulsar 集群。

  5. 集群名为 pulsar-cluster。

  6. 若在搭建 Pulsar 集群的过程中,没有修改端口号,则只需要参照如下配置文件修改集群名和机器 IP 地址即可。

  7. 本文中的 prometheus.yml 文件路径为 /home/admin/monitor/prometheus.yml。

  8. 部署监控的机器 IP 地址为 10.0.100.90。

prometheus.yml 文件示例

prometheus.yml 文件模版放在这里( https://github.com/streamnative/apache-pulsar-grafana-dashboard/blob/master/prometheus/standalone.yml.template ),可以下载根据情况进行修改。以下是一个 prometheus.yml 文件示例。

如何使用 Pulsar Dashboard 监控

如何使用 Pulsar Dashboard 监控

四、 启动 Prometheus

# 进入 Prometheus 文件目录

cd  /home/admin/monitor/prometheus-2.7.1.linux-amd64/

# 用后台进程执行启动命令

nohup ./prometheus --config.file "/home/admin/monitor/prometheus.yml" --web.enable-lifecycle --storage.tsdb.retention=10d >prometheus.log 2>&1 &

# 参数说明

# --config.file 指定 prometheus.yml 文件路径

# --web.enable-lifecycle 启动时热加载配置文件使用

# --storage.tsdb.retention 指定统计数据存储时长,10d 代表10天

# >prometheus.log 2>&1 &  存储输出的启动日志

五、访问 Prometheus

  1. 部署监控的机器 IP 地址为 10.0.100.90。

  2. 在浏览器中访问 http://10.0.100.90:9090/graph。

  3. 能成功访问并运行。

  4. Prometheus 做时序数据存储,以及提供强大的查询功能,Dashboard 展示使用 Grafana 更漂亮专业,搭建配置 Grafana。

Prometheus 运行成功后,可以访问 http://localhost:9090/targets。从这个地址可以查看 Prometheus 监控的所有 Pulsar 组件。

六、启动 Grafana

# 进入 Grafana 文件目录

cd  /home/admin/monitor/grafana-5.4.2/

# 用后台进程执行启动命令

nohup ./bin/grafana-server  start  >grafana.log 2>&1 &

七、 访问 Grafana

  1. 部署监控的机器 IP 地址为 10.0.100.90。

  2. 用浏览器访问 http://10.0.100.90:3000。

  3. 在 Grafana 首页,输入默认用户名 admin,默认密码 admin。

八、 配置 Grafana 数据源

1. 添加 Prometheus 数据源。

如何使用 Pulsar Dashboard 监控

2. 选择 Prometheus。

如何使用 Pulsar Dashboard 监控

3. 配置 Prometheus 数据源。

如何使用 Pulsar Dashboard 监控

如何使用 Pulsar Dashboard 监控

九、 导入监控 Dashboard 模板

  1. 从 Github 下载 Dashboard 模板。

  2. 选择上传导入 Dashboard 模版(这里以 "Pulsar 集群总况.json" 模板为例)。

如何使用 Pulsar Dashboard 监控

如何使用 Pulsar Dashboard 监控

3. 导入成功,可以查看 Dashboard 面板统计了

如何使用 Pulsar Dashboard 监控

可以从 Streamnative Github 获取其他模版,使用 Grafana 做报警通知功能。

如何在 Docker 中使用 Grafana Dashboard,请查看 Apache Pulsar Grafana Dashboard。( https://github.com/streamnative/apache-pulsar-grafana-dashboard/blob/master/gettingStarted.md

高天赐的 blog 系列

MacOS 单机搭建 Pulsar 集群

在多台 Linux 服务器上搭建 Pulsar 集群

更多关于 Apache Pulsar 的动态和干货分享,欢迎关注 ApachePulsar 公众号。

如何使用 Pulsar Dashboard 监控

点击“阅读原文”,查看原作者 blog。


以上所述就是小编给大家介绍的《如何使用 Pulsar Dashboard 监控》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

鸟哥的Linux私房菜

鸟哥的Linux私房菜

鸟哥 / 机械工业出版社 / 2008-1 / 88.00元

《鸟哥的Linux私房菜:服务器架设篇(第2版)》是对连续三年蝉联畅销书排行榜前10名的《Linux鸟哥私房菜一服务器架设篇》的升级版,新版本根据目前服务器与网络环境做了大幅度修订与改写。 全书共3部分,第1部分为架站前的进修专区,包括在架设服务器前必须具备的网络基础知识、Linux常用网络命令、Linux网络侦错步骤,以及服务器架站流程:第2部分为主机的简易防火措施,包括限制Linux对......一起来看看 《鸟哥的Linux私房菜》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具