内容简介:作者:高天赐编辑:IrenePulsar 自带 Dashboard,可对 broker、bookie、ZooKeeper 集群和 topic 等进行监控和统计。本文介绍如何在裸机中使用 Prometheus 和 Grafana 搭建 Pulsar 集群,监控 Dashboard,实现对 namespace、topic、broker、bookie、ZooKeeper 等指标和组件的监控和统计。
作者:高天赐
编辑:Irene
Pulsar 自带 Dashboard,可对 broker、bookie、ZooKeeper 集群和 topic 等进行监控和统计。本文介绍如何在裸机中使用 Prometheus 和 Grafana 搭建 Pulsar 集群,监控 Dashboard,实现对 namespace、topic、broker、bookie、ZooKeeper 等指标和组件的监控和统计。
一、准备资源
-
一台 Linux 裸机服务器,配置 4G,2 核。
-
Prometheus 安装包(版本号 2.7.1)。
-
Grafana 安装包(版本号 5.4.2)。
二、下载解压 Prometheus、Grafana 安装包
用如下命令下载、解压 Prometheus 和 Grafana 安装包。
# Prometheus 安装包下载
wget https://github.com/prometheus/prometheus/releases/download/v2.7.1/prometheus-2.7.1.linux-amd64.tar.gz
# 解压安装包
tar -zxvf prometheus-2.7.1.linux-amd64.tar.gz
# Grafana 安装包下载
wget https://dl.grafana.com/oss/release/grafana-5.4.2.linux-amd64.tar.gz
# 解压安装包
tar -zxvf grafana-5.4.2.linux-amd64.tar.gz
# 解压后,我的文件路径如下
# /home/admin/monitor/prometheus-2.7.1.linux-amd64
# /home/admin/monitor/grafana-5.4.2
三、配置 Prometheus 的 prometheus.yml 配置文件
-
修改集群名(cluster: pulsar-cluster)
-
配置 broker 节点、IP 和端口号
-
配置 bookie 节点、IP 和端口号
-
配置 ZooKeeper 节点、IP 和端口号
说明
-
本文介绍的测试集群是 3 台 Linux 服务器。
-
每台服务器上都部署一个 broker 节点、一个 bookie 节点、一个 ZooKeeper 节点。
-
3 台服务器的测试环境 IP 地址设定如下:
10.0.100.60, 10.0.100.70, 10.0.100.80。
-
搭建 Pulsar 集群,参考 在多台 Linux 服务器上搭建 Pulsar 集群。
-
集群名为 pulsar-cluster。
-
若在搭建 Pulsar 集群的过程中,没有修改端口号,则只需要参照如下配置文件修改集群名和机器 IP 地址即可。
-
本文中的 prometheus.yml 文件路径为 /home/admin/monitor/prometheus.yml。
-
部署监控的机器 IP 地址为 10.0.100.90。
prometheus.yml 文件示例
prometheus.yml 文件模版放在这里( https://github.com/streamnative/apache-pulsar-grafana-dashboard/blob/master/prometheus/standalone.yml.template ),可以下载根据情况进行修改。以下是一个 prometheus.yml 文件示例。
四、 启动 Prometheus
# 进入 Prometheus 文件目录
cd /home/admin/monitor/prometheus-2.7.1.linux-amd64/
# 用后台进程执行启动命令
nohup ./prometheus --config.file "/home/admin/monitor/prometheus.yml" --web.enable-lifecycle --storage.tsdb.retention=10d >prometheus.log 2>&1 &
# 参数说明
# --config.file 指定 prometheus.yml 文件路径
# --web.enable-lifecycle 启动时热加载配置文件使用
# --storage.tsdb.retention 指定统计数据存储时长,10d 代表10天
# >prometheus.log 2>&1 & 存储输出的启动日志
五、访问 Prometheus
-
部署监控的机器 IP 地址为 10.0.100.90。
-
在浏览器中访问 http://10.0.100.90:9090/graph。
-
能成功访问并运行。
-
Prometheus 做时序数据存储,以及提供强大的查询功能,Dashboard 展示使用 Grafana 更漂亮专业,搭建配置 Grafana。
Prometheus 运行成功后,可以访问 http://localhost:9090/targets。从这个地址可以查看 Prometheus 监控的所有 Pulsar 组件。
六、启动 Grafana
# 进入 Grafana 文件目录
cd /home/admin/monitor/grafana-5.4.2/
# 用后台进程执行启动命令
nohup ./bin/grafana-server start >grafana.log 2>&1 &
七、 访问 Grafana
-
部署监控的机器 IP 地址为 10.0.100.90。
-
用浏览器访问 http://10.0.100.90:3000。
-
在 Grafana 首页,输入默认用户名 admin,默认密码 admin。
八、 配置 Grafana 数据源
1. 添加 Prometheus 数据源。
2. 选择 Prometheus。
3. 配置 Prometheus 数据源。
九、 导入监控 Dashboard 模板
-
从 Github 下载 Dashboard 模板。
-
选择上传导入 Dashboard 模版(这里以 "Pulsar 集群总况.json" 模板为例)。
3. 导入成功,可以查看 Dashboard 面板统计了
可以从 Streamnative Github 获取其他模版,使用 Grafana 做报警通知功能。
如何在 Docker 中使用 Grafana Dashboard,请查看 Apache Pulsar Grafana Dashboard。( https://github.com/streamnative/apache-pulsar-grafana-dashboard/blob/master/gettingStarted.md )
高天赐的 blog 系列
更多关于 Apache Pulsar 的动态和干货分享,欢迎关注 ApachePulsar 公众号。
点击“阅读原文”,查看原作者 blog。
以上所述就是小编给大家介绍的《如何使用 Pulsar Dashboard 监控》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 使用Prometheus监控Flink
- 使用osqueryd监控系统
- 使用osquery监控auditd
- 使用prometheus监控nginx
- 使用 Zabbix 监控 Jenkins
- 使用 prometheus 监控 nginx
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
鸟哥的Linux私房菜
鸟哥 / 机械工业出版社 / 2008-1 / 88.00元
《鸟哥的Linux私房菜:服务器架设篇(第2版)》是对连续三年蝉联畅销书排行榜前10名的《Linux鸟哥私房菜一服务器架设篇》的升级版,新版本根据目前服务器与网络环境做了大幅度修订与改写。 全书共3部分,第1部分为架站前的进修专区,包括在架设服务器前必须具备的网络基础知识、Linux常用网络命令、Linux网络侦错步骤,以及服务器架站流程:第2部分为主机的简易防火措施,包括限制Linux对......一起来看看 《鸟哥的Linux私房菜》 这本书的介绍吧!