JStorm 源码分析(目录)

JStorm 源码分析(目录)

简介

本次 JStorm 源码分析文章, 主要是为在公司的内部学习分享会准备的. 生产环境使用的是 JStorm 2.2.1, 本次介绍的功能也以此为准(当然, 本文不会涉及到一些高级特性, 主要还是围绕 Storm 的基本功能展开). 希望阅读本文的童鞋, 最好对 Storm/JStorm 的使用有一定的了解, 知道 Spout、Bolt 的一些基本的工作原理. 如果不太了解, 本文最下方也提供了一些学习资料, 可以先花上半天时间学习一下.

本文主要会介绍以下这些内容:

1. tuple 在整个拓扑中的流动过程
   1. spout / bolt 如何接受并处理消息, 然后向后发送消息?
   2. 在发给内部的 task 和外部的 task 时, 发送方式有什么区别?
2. JStorm 如何对这个步骤进行抽象,形成不同的组件(TaskReceiver,TaskTransfer,Task,Executor)
3. 拓扑如何将这些组件启动?

这篇文章不会对着代码一行行介绍每一句代码干了啥, 而是希望从功能的角度出发, 去描述 JStrom 整个系统的架构.

涉及到以下这些方面:

启动、运行流程:

• 上传拓扑: jstorm Nimbus
• 启动supervisor SyncSupervisorEvent 实际启动worker的地方
• 启动worker storm Worker 的启动与运行
• 启动task storm task的启动与运行
• jstrom executor

关键组件:

• TaskTransfer/TaskReceiver
• AsyncLoopThread 以及相关的类
• SystemBolt
• TopologyContext
• BoltExecutors

依赖的库与框架

• Metric 用于性能统计
• LMAX Disruptor 一个高性能队列
• Netty 网络通信
• thrift RPC通信

参考博客或网页

书籍：

1. Storm分布式实时计算模式
2. Getting Started with Storm
3. 《Storm源码分析》 : 作为 工具 书在手边备一本，快速看一遍在文档之外多了解一些实现

Storm 相关博客或网页

1. InfoQ:Storm是如何成为Apache顶级项目的
2. InfoQ:Spotify如何对Apache Storm进行规模扩展
3. 入门资料极客学院 http://wiki.jikexueyuan.com/project/storm/
4. Storm中Spout使用注意事项小结 - 大圆那些事 - 博客园
5. storm spout的速度抑制问题 - sanmutongzi - 博客园
6. Storm中Spout和Bolt的生命周期 - CSDN博客
7. storm topology生命周期
8. 官方文档 http://storm.apache.org/releases/1.0.6/javadocs/index.html
9. docker ： Docker集群轻松部署Apache Storm-云栖社区

JStorm 相关博客或网页

1. jstorm源码阅读汇总 csdn上的博客,可以作为参考
2. JStorm 源碼解析 这个博客写得比较详细,不过它还是更多的关注于细节方面,没有对整体架构做一个总体的介绍.