内容简介:一、如何创建镜像1. 创建consumer配置文件:sourceClusterConsumer.config
一、如何创建镜像
kafka-run-class.sh kafka.tools.MirrorMaker –consumer.config sourceCluster1Consumer.config –consumer.config sourceCluster2Consumer.config –num.streams 2 –producer.config targetClusterProducer.config –whitelist=“.*”
1. 创建consumer配置文件:sourceClusterConsumer.config
zk.connect=szk0:2181,szk1:2181,szk2:2181 groupid=test-mirror-consumer-group
2. 创建producer配置文件:targetClusterProducer.config
zk.connect=tzk0:2181,tzk1:2181
3. 创建启动脚本:start.sh
$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker –consumer.config sourceClusterConsumer.config –num.streams 2 –producer.config targetClusterProducer.config –whitelist=“.*”
4. 执行脚本
二、MirrorMaker的参数说明
$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker –help
2. Producer timeout
3. Producer 重试次数(retries)
4. Producer 数量
5. 消费流(consumption streams)数量
6. 浅迭代(Shallow iteration)与producer压缩
7. Consumer 和 源Kafka集群(source cluster)的 socket buffer sizes
三、如何检验MirrorMaker运行状况
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker –group KafkaMirror –zkconnect localhost:2181 –topic test-topic
KafkaMirror,topic1,0-0 (Group,Topic,BrokerId-PartitionId)
Owner = KafkaMirror_jkoshy-ld-1320972386342-beb4bfc9-0
Consumer offset = 561154288
= 561,154,288 (0.52G)
Log size = 2231392259
= 2,231,392,259 (2.08G)
Consumer lag = 1670237971
= 1,670,237,971 (1.56G)
BROKER INFO
0 -> 127.0.0.1:9092
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- redis集群—主从同步(复制)
- Kafka 跨集群同步方案
- Mariadb之半同步复制集群配置
- 不懂就问:ZooKeeper 集群如何进行数据同步?
- 好程序员大数据培训技术分享:Hadoop集群同步
- dister v1.5 稳定版发布,优化数据同步机制及集群通信协议
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
复盘+:把经验转化为能力(第2版)
邱昭良 / 机械工业出版社 / 39.00
随着环境日趋多变、不确定、复杂、模糊,无论是个人还是组织,都需要更快更有效地进行创新应变、提升能力。复盘作为一种从经验中学习的结构化方法,满足了快速学习的需求,也是有效进行知识萃取与共享的机制。在第1版基础上,《复盘+:把经验转化为能力》(第2版)做了六方面修订: ·提炼复盘的关键词,让大家更精准地理解复盘的精髓; ·基于实际操作经验,梳理、明确了复盘的"底层逻辑"; ·明确了复......一起来看看 《复盘+:把经验转化为能力(第2版)》 这本书的介绍吧!