从 Spark 中分离出的 RPC 框架 Kraps-RPC

码农软件 · 软件分类 · RPC/XMLRPC项目 · 2019-04-11 06:57:51

软件介绍

Kraps-rpc 是一个从 Spark 分离出来的 RPC 框架,基于 Spark 2.1版本,你可以把它看作 spark-rpc,其中 spark 这个词是反转的(kraps)。 这个模块主要用于研究 Spark 如何在 RPC 中工作。Spark 包含许多分布式组件,例如驱动程序、主控、执行程序、块管理器等,它们通过 RPC 进行通信。在 Spark 项目中,功能被封装在 Spark-core 模块中。Kraps-rpc 将核心 RCP 部分与其分离,不包括安全性和流式下载功能。

依赖树

[INFO] +- org.apache.spark:spark-network-common_2.11🏺2.1.0:compile
[INFO] |  +- io.netty:netty-all🏺4.0.42.Final:compile
[INFO] |  +- org.apache.commons:commons-lang3🏺3.5:compile
[INFO] |  +- org.fusesource.leveldbjni:leveldbjni-all🏺1.8:compile
[INFO] |  +- com.fasterxml.jackson.core:jackson-databind🏺2.6.5:compile
[INFO] |  +- com.fasterxml.jackson.core:jackson-annotations🏺2.6.5:compile
[INFO] |  +- com.google.code.findbugs:jsr305🏺1.3.9:compile
[INFO] |  +- org.apache.spark:spark-tags_2.11🏺2.1.0:compile
[INFO] |  \- org.spark-project.spark:unused🏺1.0.0:compile
[INFO] +- de.ruedigermoeller:fst🏺2.50:compile
[INFO] |  +- com.fasterxml.jackson.core:jackson-core🏺2.8.8:compile
[INFO] |  +- org.javassist:javassist🏺3.21.0-GA:compile
[INFO] |  +- org.objenesis:objenesis🏺2.5.1:compile
[INFO] |  \- com.cedarsoftware:java-util🏺1.9.0:compile
[INFO] |     +- commons-logging:commons-logging🏺1.1.1:compile
[INFO] |     \- com.cedarsoftware:json-io🏺2.5.1:compile
[INFO] +- org.scala-lang:scala-library🏺2.11.8:compile
[INFO] +- org.slf4j:slf4j-api🏺1.7.7:compile
[INFO] +- org.slf4j:slf4j-log4j12🏺1.7.7:compile
[INFO] |  \- log4j:log4j🏺1.2.17:compile
[INFO] +- com.google.guava:guava🏺15.0:compile

更多细节,可参考:深入解析Spark中的RPC


本文地址:https://codercto.com/soft/d/3320.html

软件开发者路线图

软件开发者路线图

Dave H. Hoover、Adewale Oshineye / 王江平 / 机械工业出版社 / 2010年9月 / 35.00元

作为一名软件开发者,你在奋力推进自己的职业生涯吗?面对今天日新月异和不断拓展的技术,取得成功需要的不仅仅是技术专长。为了增强专业性,你还需要一些软技能以及高效的学习技能。本书的全部内容都是关于如何修炼这些技能的。两位作者Dave Hoover和Adewale Oshineye给出了数十种行为模式,来帮你提高主要的技能。 本书中的模式凝结了多年的调查研究、无数次的访谈以及来自O’Reilly在......一起来看看 《软件开发者路线图》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

MD5 加密
MD5 加密

MD5 加密工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器