ZeroMQ、nanomsg

栏目: 后端 · 发布时间: 5年前

内容简介:N-M的网络路由,发布订阅(低成本不用代理的情况下,代理不能单点)。并发原子通信(storm一个任务一个线程,线程间通信,管道模式,无锁队列=》netty)。简单的消息队列(队列满就不能发了),不保证可靠性。官方:就是个

N-M的网络路由,发布订阅(低成本不用代理的情况下,代理不能单点)。并发原子通信(storm一个任务一个线程,线程间通信,管道模式,无锁队列=》netty)。简单的消息队列(队列满就不能发了),不保证可靠性。

官方: http://zguide.zeromq.org/page :all

就是个 网路jar包 ,It gives you sockets that carry atomic messages across various transports like in-process, inter-process, TCP, and multicast.Its asynchronous I/O model gives you scalable multicore applications, built as asynchronous message-processing tasks.

并发ZeroMQ应用程序不需要锁,信号量或其他等待状态。

对队列排队和简单处理。

通讯模式只有三类:

请求回应模型。由请求端发起请求,并等待回应端回应请求。从请求端来看,一定是一对对收发配对的;反之,在回应端一定是发收对。请求端和回应端都可以是 1:N 的模型。通常把 1 认为是 server ,N 认为是 Client 。ZeroMQ 可以很好的支持路由功能(实现路由功能的组件叫作 Device),把 1:N 扩展为 N:M (只需要加入若干路由节点)。从这个模型看,更底层的端点地址是对上层隐藏的。每个请求都隐含有回应地址,而应用则不关心它。

发布订阅模型。这个模型里,发布端是单向只发送数据的,且不关心是否把全部的信息都发送给订阅端。如果发布端开始发布信息的时候,订阅端尚未连接上来,这些信息直接丢弃。不过一旦订阅端连接上来,中间会保证没有信息丢失。同样,订阅端则只负责接收,而不能反馈。如果发布端和订阅端需要交互(比如要确认订阅者是否已经连接上),则使用额外的 socket 采用请求回应模型满足这个需求。

管道模型。这个模型里,管道是单向的,从 PUSH 端单向的向 PULL 端单向的推送数据流。

性能考虑

针对具有长期连接的方案而设计的,建立连接所花费的时间或处理连接错误所需的时间基本上是无关紧要的

  • 内存

小消息和大消息:复制,分配

  • batching

可以根据队列排队情况调节。TCP的Nagle's则可以关闭。

ZeroMQ、nanomsg

  • 并发模型 actor model

ZeroMQ、nanomsg

ZeroMQ、nanomsg

在主线程创建zmq_listener,通过Mail Box发消息的形式将其绑定到I/O线程,I/O线程把zmq_listener添加到Poller中用以侦听读事件.每个工作线程自己的listener.

In fact, a multi-threaded version of a messaging system can be slower than a single-threaded one, even if measured on a multi-core box. Individual threads are simply spending too much time waiting for each other while, at the same time, eliciting a lot of context switching that slows the system down.

一个cpu一个工作worker,一个cpu处理很多connection,需要完全异步,需要事件驱动且不能阻塞很久,=》一定要用个状态机,重要的是关闭

All objects have to become, whether explicitly or implicitly, state machines. With hundreds or thousands of state machines running in parallel you have to take care of all the possible interactions between them and—most importantly—of the shutdown process.

It turns out that shutting down a fully asynchronous system in a clean way is a dauntingly complex task. Trying to shut down a thousand moving parts, some of them working, some idle, some in the process of being initiated, some of them already shutting down by themselves, is prone to all kinds of race conditions, resource leaks and similar. The shutdown subsystem is definitely the most complex part of ØMQ. A quick check of the bug tracker indicates that some 30--50% of reported bugs are related to shutdown in one way or another.

=>nanomsg

https://nanomsg.org/documenta...

支持新协议

连接与线程不是一对一(处理此连接的线程忙就不能响应,nn_usock拥有原始socket。它引用nn_work,还定义了connecting, connected, accept, send, recv, stop等一系列任务。这些任务可以在nn_work的线程中异步执行),连接线程安全

内ZeroMQ使用一种很简单的Trie结构(topic前缀匹配,路由匹配等)存储和匹配发布/订阅服务。当订阅数超过10000时,该结构很快就显现出不合理之处了。nanomsg则使用一种称为“基数树(radix tree,就是trie如果只有一个节点就合并,一个节点上有多个字符)”的结构来存储订阅

https://www.aosabook.org/en/z...

http://zguide.zeromq.org/page :all


以上所述就是小编给大家介绍的《ZeroMQ、nanomsg》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

大型分布式网站架构设计与实践

大型分布式网站架构设计与实践

陈康贤 / 电子工业出版社 / 2014-9-1 / 79.00元

《大型分布式网站架构设计与实践》主要介绍了大型分布式网站架构所涉及的一些技术细节,包括SOA架构的实现、互联网安全架构、构建分布式网站所依赖的基础设施、系统稳定性保障和海量数据分析等内容;深入地讲述了大型分布式网站架构设计的核心原理,并通过一些架构设计的典型案例,帮助读者了解大型分布式网站设计的一些常见场景及遇到的问题。 作者结合自己在阿里巴巴及淘宝网的实际工作经历展开论述。《大型分布式网站......一起来看看 《大型分布式网站架构设计与实践》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试