从 Spark 中分离出的 RPC 框架 Kraps-RPC
- 授权协议: Apache 2.0
- 开发语言: Scala
- 操作系统: 跨平台
- 软件首页: https://github.com/neoremind/kraps-rpc
- 软件文档: https://github.com/neoremind/kraps-rpc
- 官方下载: https://github.com/neoremind/kraps-rpc
软件介绍
Kraps-rpc 是一个从 Spark 分离出来的 RPC 框架,基于 Spark 2.1版本,你可以把它看作 spark-rpc,其中 spark 这个词是反转的(kraps)。 这个模块主要用于研究 Spark 如何在 RPC 中工作。Spark 包含许多分布式组件,例如驱动程序、主控、执行程序、块管理器等,它们通过 RPC 进行通信。在 Spark 项目中,功能被封装在 Spark-core 模块中。Kraps-rpc 将核心 RCP 部分与其分离,不包括安全性和流式下载功能。
依赖树:
[INFO] +- org.apache.spark:spark-network-common_2.11🏺2.1.0:compile [INFO] | +- io.netty:netty-all🏺4.0.42.Final:compile [INFO] | +- org.apache.commons:commons-lang3🏺3.5:compile [INFO] | +- org.fusesource.leveldbjni:leveldbjni-all🏺1.8:compile [INFO] | +- com.fasterxml.jackson.core:jackson-databind🏺2.6.5:compile [INFO] | +- com.fasterxml.jackson.core:jackson-annotations🏺2.6.5:compile [INFO] | +- com.google.code.findbugs:jsr305🏺1.3.9:compile [INFO] | +- org.apache.spark:spark-tags_2.11🏺2.1.0:compile [INFO] | \- org.spark-project.spark:unused🏺1.0.0:compile [INFO] +- de.ruedigermoeller:fst🏺2.50:compile [INFO] | +- com.fasterxml.jackson.core:jackson-core🏺2.8.8:compile [INFO] | +- org.javassist:javassist🏺3.21.0-GA:compile [INFO] | +- org.objenesis:objenesis🏺2.5.1:compile [INFO] | \- com.cedarsoftware:java-util🏺1.9.0:compile [INFO] | +- commons-logging:commons-logging🏺1.1.1:compile [INFO] | \- com.cedarsoftware:json-io🏺2.5.1:compile [INFO] +- org.scala-lang:scala-library🏺2.11.8:compile [INFO] +- org.slf4j:slf4j-api🏺1.7.7:compile [INFO] +- org.slf4j:slf4j-log4j12🏺1.7.7:compile [INFO] | \- log4j:log4j🏺1.2.17:compile [INFO] +- com.google.guava:guava🏺15.0:compile
更多细节,可参考:深入解析Spark中的RPC