Xmemcached源码阅读

栏目: 数据库 · 发布时间: 6年前

内容简介:Xmemcached源码阅读

Xmemcached 是一个 memcached 客户端库。由于它提供的是同步API,而我想看下如何增加异步接口。所以就大致浏览了下它的源码。

主要结构

针对memcache客户端的实现,主要结构如下:

Xmemcached源码阅读

  • XMemcachedClient是应用主要使用的类,所有针对memcache的接口都在这里
  • Command用于抽象二进制协议或文本协议下各个操作,这里称为Command。CommandFactory用于创建这些command
  • MemcachedSessionLocator用于抽象不同的负载均衡策略,或者说数据分布策略。在一个memcached集群中,数据具体存放在哪个replica中,主要就是由这个类的实现具体的,例如KetamaMemcachedSessionLocator实现了一致性哈希策略
  • MemcachedConnector包装了网络部分,与每一个memcached建立连接后,就得到一个Session。command的发送都在MemcachedConnector中实现
  • 各个Session类/接口,则涉及到Xmemcached使用的网络库yanf4j。这个库也是Xmemcached作者的。

Command 类的实现中有个关键的CountDownLatch。在将Command通过session发送出去之后,就利用这个latch同步等待,等到网络模块收到数据后回调。Command会和session绑定,在这个session上收到数据后,就认为是这个command的回应。

由于本身memcached库核心东西比较少,上面的结构也就很好理解。协议的抽象和数据分布策略的抽象是必须的。接下来看看网络实现部分。

网络实现

Xmemcached的网络实现主要结构如下:

Xmemcached源码阅读

  • SocketChannelController,主要的类,将IO事件通知转交给session
  • NioController,主要关注其成员SelectorManagrer
  • SelectorManager内置若干个Reactor,数量由CPU核数决定
  • Reactor,IO事件的产生器,一个Reactor对应一个线程,线程循环中不断轮询NIO selector是否产生了IO事件
  • CodecFactory,编解码网络消息接口
  • PoolDispatcher,Dispatcher 用于调度一个IO事件的具体处理过程,而PoolDispatcher则是放到一个单独的线程池中处理
  • DispatcherFactory,用于创建具体的dispatcher

这个网络实现还是比较典型的Reactor模式。其中,产生IO事件后,IO事件的具体处理,默认交给了一个独立的线程池。一般网络库都会提供类似的机制,以使得IO线程不至于被业务逻辑阻塞住,导致IO处理效率下降。

写数据时,数据都会写到一个队列中,在设备可写时才具体写入。看下具体的读数据过程:

Xmemcached源码阅读

从Reactor中最终调用到Xmemcached的command,用于具体解析回应数据。要调整为异步的话,则可以修改Command的实现,增加异步回调。同时注意控制dispatcher使用的线程池。

完。

原文地址: http://codemacro.com/2017/04/23/xmemcached/

written by Kevin Lynx posted at http://codemacro.com


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据挖掘导论

数据挖掘导论

Pang-Ning Tan、Michael Steinbach、Vipin Kumar / 范明、范宏建 / 人民邮电出版社 / 2010-12-10 / 69.00元

本书全面介绍了数据挖掘,涵盖了五个主题:数据、分类、关联分析、聚类和异常检测。除异常检测外,每个主题都有两章。前一章涵盖基本概念、代表性算法和评估技术,而后一章讨论高级概念和算法。这样读者在透彻地理解数据挖掘的基础的同时,还能够了解更多重要的高级主题。 本书是明尼苏达大学和密歇根州立大学数据挖掘课程的教材,由于独具特色,正式出版之前就已经被斯坦福大学、得克萨斯大学奥斯汀分校等众多名校采用。 ......一起来看看 《数据挖掘导论》 这本书的介绍吧!

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试