CSharpFlink 分布式实时计算框架，增加 Kafka 数据接口和加载多个计算任务

内容简介：更新内容： 1.可以增加多个计算任务实例（*.dll） 2.增加IChannelMesaageHandler接口，主节点和计算节点可以复用。 3.修复SouceFunction多次启动线程的问题。 4.增加Kafka数据接入的接口，支持Kafka接入数据的实时...

更新内容：

1.可以增加多个计算任务实例（*.dll）
2.增加IChannelMesaageHandler接口，主节点和计算节点可以复用。
3.修复SouceFunction多次启动线程的问题。
4.增加Kafka数据接入的接口，支持Kafka接入数据的实时计算。

注：请到开源网址下载。

系统框架：

系统测试：

     CPU：4核 I5-7400 2.7GHz,内存：16G，随机数据点时间窗口和计算算子，主节点CPU和内存使用情况：15%-35%、1500MB-2048MB, 工作节点CPU和内存使用情况：0.1%-2.5%、18MB-30MB。 本机部署1个主节点，10个计算节点。主节点生成10万个数据点的计算任务，每个数据点1秒钟产生一个新数据，计算时间窗口的最大值、最小值、平均值或和值。 运行效果，如下图：

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• ignite分布式计算
• 分布式计算框架MapReduce
• 关于分布式计算的一些概念
• 阿里开源首款自研科学计算引擎 Mars ：基于张量的统一分布式计算框架
• 在家搭建大数据分布式计算环境
• Onyx 0.12.6 发布，分布式计算系统

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。