Kafka运维操作指南

栏目: 后端 · 发布时间: 5年前

内容简介:1.启停,进程状态2.topic相关3.集群相关

1.启停,进程状态

#启动。若要开启JMX端口需要加载环境变量
su hadoop
./bin/kafka-server-start.sh -daemon ./config/server.properties
#停止。
su hadoop
./bin/kafka-server-stop.sh

2.topic相关

#创建topic.默认数据保留时间为7天,配置<replication-factor>至少为为2
./bin/kafka-topics.sh --create --zookeeper $ZK_ADDR --replication-factor 2 --partitions N --topic ${topic_name}
#创建topic时指定代理
./kafka-topics.sh --zookeeper $ZK_ADDR --creat --topic --topic ${topic_name} --replica-assignment 0:1,1:2,2:3,3:4,4:0
#删除topic.不会立马删除,只会标记为删除<- marked for deletion>
./bin/kafka-topics.sh --delete --zookeeper $ZK_ADDR --topic ${topic_name}
#查看topid的详细信息,只有非默认配置才会展示出来,不展示的都将是默认配置值。
./bin/kafka-topics.sh --describe --zookeeper $ZK_ADDR --topic ${topic_name}
#topic分区扩容,值能大于现有的partition的值,且这个值为增加到的值,不是增加多少的值.
./bin/kafka-topics.sh --alter --zookeeper $ZK_ADDR --topic ${topic_name} --partitions ${partition_number}
#修改topic消息的保留时间.默认为7天,单位是ms.
./bin/kafka-configs.sh --alter --zookeeper $ZK_ADDR --entity-type topics --entity-name ${topic_name} --add-config retention.ms=${xxxx}

3.集群相关

#leade选举.集群自己进行再选举
./bin/kafka-preferred-replica-election.sh --zookeeper $ZK_ADDR
#leader选举.自定义leader.json文件
./bin/kafka-preferred-replica-election.sh --zookeeper $ZK_ADDR --path-to-json-file leader.json
##leader.json文件
{"partitions":[
  {"topic": "foo", "partition": 1},   
  {"topic": "foobar", "partition": 2}
  ]
}
#查看集群中有多少个partitons没有leader
./kafka-topics.sh --describe --zookeeper $ZK_ADDR --under-replicated-partitions

4.生产者

/export/work/kafka_9092/bin/kafka-console-producer.sh –broker-list localhost:9092 –topic ${topic_name}

/export/work/kafka_9092/bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –new-consumer –from-beginning –topic ${topic_name} | grep ${message-key-word}

5.消费者

/export/work/kafka_9092/bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –new-consumer –from-beginning –topic ${topic_name}

/export/work/kafka_9092/bin/kafka-consumer-groups.sh –list –bootstrap-server localhost:9092

/export/work/kafka_9092/bin/kafka-consumer-groups.sh –describe –bootstrap-server localhost:9092 –group ${consumer-group}

/export/work/kafka_9092/bin/kafka-consumer-groups.sh –describe –bootstrap-server localhost:9092 –group ${consumer-group}


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深度学习核心技术与实践

深度学习核心技术与实践

猿辅导研究团队 / 电子工业出版社 / 2018-2 / 119.00元

《深度学习核心技术与实践》主要介绍深度学习的核心算法,以及在计算机视觉、语音识别、自然语言处理中的相关应用。《深度学习核心技术与实践》的作者们都是业界一线的深度学习从业者,所以书中所写内容和业界联系紧密,所涵盖的深度学习相关知识点比较全面。《深度学习核心技术与实践》主要讲解原理,较少贴代码。 《深度学习核心技术与实践》适合深度学习从业人士或者相关研究生作为参考资料,也可以作为入门教程来大致了......一起来看看 《深度学习核心技术与实践》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具