内容简介:Apache ZooKeeper是Apache软件基金会的一个软件项目,他为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper曾经是Hadoop的一个子项目,但现在是一个独立的顶级项目。ZooKeeper的架构通过冗余服务实现高可用性。因此,如果第一次无应答,客户端就可以询问另一台ZooKeeper主机。ZooKeeper节点将它们的数据存储于一个分层的命名空间,非常类似于一个文件系统或一个前缀树结构。客户端可以在节点读写,从而以这种方式拥有一个共享的配置服务。使用ZooKeep
zookeeper
zookeeper是什么
Apache ZooKeeper是Apache软件基金会的一个软件项目,他为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper曾经是Hadoop的一个子项目,但现在是一个独立的顶级项目。
ZooKeeper的架构通过冗余服务实现高可用性。因此,如果第一次无应答,客户端就可以询问另一台ZooKeeper主机。ZooKeeper节点将它们的数据存储于一个分层的命名空间,非常类似于一个文件系统或一个前缀树结构。客户端可以在节点读写,从而以这种方式拥有一个共享的配置服务。
使用ZooKeeper的公司包括Rackspace、雅虎和eBay,以及类似于像Solr这样的开源企业级搜索系统。
zookeeper提供了什么
-
文件系统:zookeeper维护一个类似文件系统的数据结构,每个子目录项如 NameService 都被称作为 znode,和文件系统一样,自由增加及删除,唯一不同其可存储数据。Znode分为四种类型
- PERSISTENT-持久化目录节点。(客户端与zookeeper断开连接后,该节点依旧存在)。
- PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点。(客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号)
- EPHEMERAL-临时目录节点(客户端与zookeeper断开连接后,该节点被删除)
- EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点。(客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号)
- 通知机制:客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、被删除、子目录节点增加删除)时,zookeeper会通知客户端。
zookeeper能为我们做什么?
- 命名服务:在zookeeper的文件系统里创建一个目录,即有唯一的path。在我们使用tborg无法确定上游程序的部署机器时即可与下游程序约定好path,通过path即能互相探索发现。
- 配置管理:把应用配置放置zookeeper上去,保存在 Zookeeper 的某个目录节点中,然后所有相关应用程序对这个目录节点进行监听,一旦配置信息发生变化,每个应用程序就会收到 Zookeeper 的通知,然后从 Zookeeper 获取新的配置信息应用到系统中就好。
- 集群管理:节点(机器)增删及Master选取。节点增删:所有机器约定在父目录GroupMembers下创建临时目录节点,然后监听父目录节点的子节点变化消息。一旦有机器挂掉,该机器与 zookeeper的连接断开,其所创建的临时目录节点被删除,所有其他机器都收到通知:某个兄弟目录被删除,于是,所有人都知道:它上船了。新机器加入 也是类似,所有机器收到通知:新兄弟目录加入,highcount又有了。Master选取:所有机器创建临时顺序编号目录节点,每次选取编号最小的机器作为master就好。
- 分布式锁:基于zookeeper一致性文件系统,实现锁服务。锁服务分为保存独占及时序控制两类。保存独占:将zookeeper上的一个znode看作是一把锁,通过createznode的方式来实现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户端也即拥有了这把锁。用完删除自己创建的distribute_lock 节点就释放锁。时序控制:基于/distribute_lock锁,所有客户端在它下面创建临时顺序编号目录节点,和选master一样,编号最小的获得锁,用完删除,依次方便。
- 队列管理:分同步队列,FIFO队列(入队与出队),同步队列:当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达。在约定目录下创建临时目录节点,监听节点数目是否是我们要求的数目。FIFO队列:和分布式锁服务中的控制时序场景基本原理一致,入列有编号,出列按编号。
- 分布式与数据复制:Zookeeper作为一个集群提供一致的数据服务,必然在所有机器间做数据复制。数据复制好处:(1)容错:一个节点出错,不致于让整个系统停止工作,别的节点可以接管它的工作。(2)提高系统的扩展能力:把负载分布到多个节点上,或者增加节点来提高系统的负载能力;(3)性能提升:让客户端本地访问就近节点,提高用户访问速度。
zookeeper基本概念
角色简介
Zookeeper角色分为三类,领导者:负责进行投票的发起和决议,更新系统状态。跟随者:Follower用于接收客户请求并向客户端返回结果,在选中过程中参与投票。观察者:Observer可以接收客户端连接,将写请求转发给leader节点。但不参加投票过程,只同步leader状态。Observer目的在于扩展系统,提高读取速度。
设计目的
- 一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能。
- 可靠性:具有简单、健壮、良好的性能,如果消息m被到一台服务器接受,那么它将被所有的服务器接受。
- 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。但由于网络延时等原因,Zookeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。
- 等待无关(wait-free):慢的或者失效的client不得干预快速的client的请求,使得每个client都能有效的等待。
- 原子性:更新只能成功或者失败,没有中间状态。
- 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面。
选主流程
当leader崩溃或者leader失去大多数的follower,这时候zk进入恢复模式,恢复模式需要重新选举出一个新的leader,让所有的Server都恢复到一个正确的状态。Zk的选举算法有两种:一种是基于basic paxos实现的,另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。先介绍basic paxos流程:
选举线程由当前Server发起选举的线程担任,其主要功能是对投票结果进行统计,并选出推荐的Server;
选举线程首先向所有Server发起一次询问(包括自己);
选举线程收到回复后,验证是否是自己发起的询问(验证zxid是否一致),然后获取对方的id(myid),并存储到当前询问对象列表中,最后获取对方提议的leader相关信息(id,zxid),并将这些信息存储到当次选举的投票记录表中;
收到所有Server回复以后,就计算出zxid最大的那个Server,并将这个Server相关信息设置成下一次要投票的Server;
线程将当前zxid最大的Server设置为当前Server要推荐的Leader,如果此时获胜的Server获得n/2 + 1的Server票数, 设置当前推荐的leader为获胜的Server,将根据获胜的Server相关信息设置自己的状态,否则,继续这个过程,直到leader被选举出来。
通过流程分析我们可以得出:要使Leader获得多数Server的支持,则Server总数必须是奇数2n+1,且存活的Server的数目不得少于n+1.
每个Server启动后都会重复以上流程。在恢复模式下,如果是刚从崩溃状态恢复的或者刚启动的server还会从磁盘快照中恢复数据和会话信息,zk会记录事务日志并定期进行快照,方便在恢复时进行状态恢复。
fast paxos流程是在选举过程中,某Server首先向所有Server提议自己要成为leader,当其它Server收到提议以后,解决epoch和zxid的冲突,并接受对方的提议,然后向对方发送接受提议完成的消息,重复这个流程,最后一定能选举出Leader。
zookeeper的安装使用
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz tar zxvf zookeeper-3.4.8.tar.gz -C /usr/local/ cd $ZOOKEEPER_HOME cp conf/zoo_sample.cfg conf/zoo.cfg # 集群需要在zoo.cfg配置 server.1=192.168.1.148:2888:3888 server.2=192.168.1.149:2888:3888 server.3=192.168.1.150:2888:3888 # 在zookeeper的临时目录创建myid mkdir -p /tmp/zookeeper # 分别在不同节点创建myid文件里面的数字对应节点的编号比如server.1就对应1,server.2就对应2 echo 1 > /tmp/zookeeper/myid # 最后分别启动集群上的节点 $ZOOKEEPER_HOME/bin/zkServer.sh start # 查看zookeeper的状态 $ZOOKEEPER_HOME/bin/zkServer.sh status # 停止zookeeper服务 $ZOOKEEPER_HOME/bin/zkServer.sh stop
zookeeper命令行操作
启动zookeeper服务后到bin目录启动zookeeper的客户端$ZOOKEEPER_HOME/bin/zkCli.sh
# 输入help [zk: localhost:2181(CONNECTED) 0] help ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo cmdno printwatches on|off delete path [version] sync path listquota path rmr path get path [watch] create [-s] [-e] path data acl addauth scheme auth quit getAcl path close connect host:port
创建节点
[zk: localhost:2181(CONNECTED) 14] create /test test-data Created /test
查看节点
[zk: localhost:2181(CONNECTED) 1] ls / [abc, zookeeper, eclipse]
获取节点
[zk: localhost:2181(CONNECTED) 10] get /test test-update cZxid = 0x38 ctime = Sat Dec 22 10:11:46 CST 2018 mZxid = 0x39 mtime = Sat Dec 22 10:12:05 CST 2018 pZxid = 0x38 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 11 numChildren = 0
修改节点
[zk: localhost:2181(CONNECTED) 11] set /test test-update cZxid = 0x38 ctime = Sat Dec 22 10:11:46 CST 2018 mZxid = 0x3a mtime = Sat Dec 22 10:15:04 CST 2018 pZxid = 0x38 cversion = 0 dataVersion = 2 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 11 numChildren = 0
删除节点
[zk: localhost:2181(CONNECTED) 13] delete /test
zookeeper java 客户端操作
/** * @author leone * @since 2018-06-16 **/ public class ZkClient { private final static Logger logger = LoggerFactory.getLogger(ZkClient.class); private final static String ZK_URL = "xxx.xxx.xxx.xxx:2181"; private final static int TIME_OUT = 5000; private static ZooKeeper zkClient = null; @Before public void init() throws Exception { zkClient = new ZooKeeper(ZK_URL, TIME_OUT, (WatchedEvent event) -> { // 收到事件通知后的回调函数(应该是我们自己的事件处理逻辑) logger.info(event.getType() + "---" + event.getPath()); try { zkClient.getChildren("/", true); } catch (Exception e) { e.printStackTrace(); } }); } /** * 设置值 * * @throws Exception */ @Test public void testSetData() throws Exception { zkClient.setData("/eclipse", "world".getBytes(), -1); byte[] data = zkClient.getData("/eclipse", false, null); System.out.println(new String(data)); } /** * 创建节点 * * @throws Exception */ @Test public void testCreate() throws Exception { // 参数1:要创建的节点的路径 参数2:节点数据 参数3:节点的权限 参数4:节点的类型 zkClient.create("/eclipse/aaa", "aaaData".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } /** * 测试某节点是否存在 * * @throws Exception */ @Test public void testExists() throws Exception { Stat stat = zkClient.exists("/eclipse", false); System.out.println(stat == null ? "not exist" : "exist"); } /** * 获取子节点 * * @throws Exception */ @Test public void testGetChild() throws Exception { List<String> children = zkClient.getChildren("/", true); for (String child : children) { System.out.println(child); } } /** * 删除节点 * * @throws Exception */ @Test public void testDelete() throws Exception { // 参数2:指定要删除的版本,-1表示删除所有版本 zkClient.delete("/abc", -1); } /** * 获取节点的数据 * * @throws Exception */ @Test public void testGetDate() throws Exception { byte[] data = zkClient.getData("/eclipse", false, null); System.out.println(new String(data)); } }
以上所述就是小编给大家介绍的《zookeeper 快速入门》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- TiDB入门(四):从入门到“跑路”
- MyBatis从入门到精通(一):MyBatis入门
- MyBatis从入门到精通(一):MyBatis入门
- Docker入门(一)用hello world入门docker
- 赵童鞋带你入门PHP(六) ThinkPHP框架入门
- 初学者入门 Golang 的学习型项目,go入门项目
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
挑战程序设计竞赛
秋叶拓哉、岩田阳一、北川宜稔 / 巫泽俊、庄俊元、李津羽 / 人民邮电出版社 / 2013-7-1 / CNY 79.00
世界顶级程序设计高手的经验总结 【ACM-ICPC全球总冠军】巫泽俊主译 日本ACM-ICPC参赛者人手一册 本书对程序设计竞赛中的基础算法和经典问题进行了汇总,分为准备篇、初级篇、中级篇与高级篇4章。作者结合自己丰富的参赛经验,对严格筛选的110 多道各类试题进行了由浅入深、由易及难的细致讲解,并介绍了许多实用技巧。每章后附有习题,供读者练习,巩固所学。 本书适合程序设计......一起来看看 《挑战程序设计竞赛》 这本书的介绍吧!
CSS 压缩/解压工具
在线压缩/解压 CSS 代码
Markdown 在线编辑器
Markdown 在线编辑器