如何使用 Pulsar Dashboard 监控

栏目: 数据库 · 发布时间: 5年前

内容简介:作者:高天赐编辑:IrenePulsar 自带 Dashboard,可对 broker、bookie、ZooKeeper 集群和 topic 等进行监控和统计。本文介绍如何在裸机中使用 Prometheus 和 Grafana 搭建 Pulsar 集群,监控 Dashboard,实现对 namespace、topic、broker、bookie、ZooKeeper 等指标和组件的监控和统计。

作者:高天赐

编辑:Irene

Pulsar 自带 Dashboard,可对 broker、bookie、ZooKeeper 集群和 topic 等进行监控和统计。本文介绍如何在裸机中使用 Prometheus 和 Grafana 搭建 Pulsar 集群,监控 Dashboard,实现对 namespace、topic、broker、bookie、ZooKeeper 等指标和组件的监控和统计。

一、准备资源

  1. 一台 Linux 裸机服务器,配置 4G,2 核。

  2. Prometheus 安装包(版本号 2.7.1)。

  3. Grafana 安装包(版本号 5.4.2)。

二、下载解压 Prometheus、Grafana 安装包

用如下命令下载、解压 Prometheus 和 Grafana 安装包。

# Prometheus 安装包下载

wget https://github.com/prometheus/prometheus/releases/download/v2.7.1/prometheus-2.7.1.linux-amd64.tar.gz

# 解压安装包

tar -zxvf  prometheus-2.7.1.linux-amd64.tar.gz

# Grafana 安装包下载

wget https://dl.grafana.com/oss/release/grafana-5.4.2.linux-amd64.tar.gz

# 解压安装包

tar -zxvf grafana-5.4.2.linux-amd64.tar.gz

# 解压后,我的文件路径如下

# /home/admin/monitor/prometheus-2.7.1.linux-amd64

# /home/admin/monitor/grafana-5.4.2

三、配置 Prometheus 的 prometheus.yml 配置文件

  1. 修改集群名(cluster: pulsar-cluster)

  2. 配置 broker 节点、IP 和端口号

  3. 配置 bookie 节点、IP 和端口号

  4. 配置 ZooKeeper 节点、IP 和端口号

说明

  1. 本文介绍的测试集群是 3 台 Linux 服务器。

  2. 每台服务器上都部署一个 broker 节点、一个 bookie 节点、一个 ZooKeeper 节点。

  3. 3 台服务器的测试环境 IP 地址设定如下:

    10.0.100.60, 10.0.100.70, 10.0.100.80。

  4. 搭建 Pulsar 集群,参考 在多台 Linux 服务器上搭建 Pulsar 集群。

  5. 集群名为 pulsar-cluster。

  6. 若在搭建 Pulsar 集群的过程中,没有修改端口号,则只需要参照如下配置文件修改集群名和机器 IP 地址即可。

  7. 本文中的 prometheus.yml 文件路径为 /home/admin/monitor/prometheus.yml。

  8. 部署监控的机器 IP 地址为 10.0.100.90。

prometheus.yml 文件示例

prometheus.yml 文件模版放在这里( https://github.com/streamnative/apache-pulsar-grafana-dashboard/blob/master/prometheus/standalone.yml.template ),可以下载根据情况进行修改。以下是一个 prometheus.yml 文件示例。

如何使用 Pulsar Dashboard 监控

如何使用 Pulsar Dashboard 监控

四、 启动 Prometheus

# 进入 Prometheus 文件目录

cd  /home/admin/monitor/prometheus-2.7.1.linux-amd64/

# 用后台进程执行启动命令

nohup ./prometheus --config.file "/home/admin/monitor/prometheus.yml" --web.enable-lifecycle --storage.tsdb.retention=10d >prometheus.log 2>&1 &

# 参数说明

# --config.file 指定 prometheus.yml 文件路径

# --web.enable-lifecycle 启动时热加载配置文件使用

# --storage.tsdb.retention 指定统计数据存储时长,10d 代表10天

# >prometheus.log 2>&1 &  存储输出的启动日志

五、访问 Prometheus

  1. 部署监控的机器 IP 地址为 10.0.100.90。

  2. 在浏览器中访问 http://10.0.100.90:9090/graph。

  3. 能成功访问并运行。

  4. Prometheus 做时序数据存储,以及提供强大的查询功能,Dashboard 展示使用 Grafana 更漂亮专业,搭建配置 Grafana。

Prometheus 运行成功后,可以访问 http://localhost:9090/targets。从这个地址可以查看 Prometheus 监控的所有 Pulsar 组件。

六、启动 Grafana

# 进入 Grafana 文件目录

cd  /home/admin/monitor/grafana-5.4.2/

# 用后台进程执行启动命令

nohup ./bin/grafana-server  start  >grafana.log 2>&1 &

七、 访问 Grafana

  1. 部署监控的机器 IP 地址为 10.0.100.90。

  2. 用浏览器访问 http://10.0.100.90:3000。

  3. 在 Grafana 首页,输入默认用户名 admin,默认密码 admin。

八、 配置 Grafana 数据源

1. 添加 Prometheus 数据源。

如何使用 Pulsar Dashboard 监控

2. 选择 Prometheus。

如何使用 Pulsar Dashboard 监控

3. 配置 Prometheus 数据源。

如何使用 Pulsar Dashboard 监控

如何使用 Pulsar Dashboard 监控

九、 导入监控 Dashboard 模板

  1. 从 Github 下载 Dashboard 模板。

  2. 选择上传导入 Dashboard 模版(这里以 "Pulsar 集群总况.json" 模板为例)。

如何使用 Pulsar Dashboard 监控

如何使用 Pulsar Dashboard 监控

3. 导入成功,可以查看 Dashboard 面板统计了

如何使用 Pulsar Dashboard 监控

可以从 Streamnative Github 获取其他模版,使用 Grafana 做报警通知功能。

如何在 Docker 中使用 Grafana Dashboard,请查看 Apache Pulsar Grafana Dashboard。( https://github.com/streamnative/apache-pulsar-grafana-dashboard/blob/master/gettingStarted.md

高天赐的 blog 系列

MacOS 单机搭建 Pulsar 集群

在多台 Linux 服务器上搭建 Pulsar 集群

更多关于 Apache Pulsar 的动态和干货分享,欢迎关注 ApachePulsar 公众号。

如何使用 Pulsar Dashboard 监控

点击“阅读原文”,查看原作者 blog。


以上所述就是小编给大家介绍的《如何使用 Pulsar Dashboard 监控》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Ruby on Rails电子商务实战

Ruby on Rails电子商务实战

Christian Hellsten、Jarkko Laine / 曹维远 / 人民邮电出版社 / 2008-4 / 49.00元

《Ruby on Rails电子商务实战》全面讲解了使用Ruby on Rails创建产品级应用程序的过程。书中通过演示构建网上书店的全过程,先后介绍如何使用如TDD的敏捷实践,启动一个项目并建立良好稳定的基础,如何深入Ruby on Rails,实现诸如将应用程序翻译成各种语言对产品进行调试等的普遍需求。其中用到的主要技术包括Ajax、聚合、设置标签和国际化等,还介绍了如何使用ActiveRec......一起来看看 《Ruby on Rails电子商务实战》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码