CSharpFlink 分布式实时计算框架,增加 Kafka 数据接口和加载多个计算任务

栏目: 软件资讯 · 发布时间: 3年前

内容简介:更新内容: 1.可以增加多个计算任务实例(*.dll) 2.增加IChannelMesaageHandler接口,主节点和计算节点可以复用。 3.修复SouceFunction多次启动线程的问题。 4.增加Kafka数据接入的接口,支持Kafka接入数据的实时...

更新内容:

1.可以增加多个计算任务实例(*.dll)
2.增加IChannelMesaageHandler接口,主节点和计算节点可以复用。
3.修复SouceFunction多次启动线程的问题。
4.增加Kafka数据接入的接口,支持Kafka接入数据的实时计算。

注:请到开源网址下载。

系统框架:

CSharpFlink 分布式实时计算框架,增加 Kafka 数据接口和加载多个计算任务

系统测试:

     CPU:4核 I5-7400 2.7GHz,内存:16G,随机数据点时间窗口和计算算子,主节点CPU和内存使用情况:15%-35%、1500MB-2048MB, 工作节点CPU和内存使用情况:0.1%-2.5%、18MB-30MB。 本机部署1个主节点,10个计算节点。主节点生成10万个数据点的计算任务,每个数据点1秒钟产生一个新数据,计算时间窗口的最大值、最小值、平均值或和值。 运行效果,如下图:

CSharpFlink 分布式实时计算框架,增加 Kafka 数据接口和加载多个计算任务


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

计算机网络(第7版)

计算机网络(第7版)

谢希仁 / 电子工业出版社 / 2017-1 / 45.00

本书自1989年首次出版以来,曾于1994年、1999年、2003年、2008年和2013年分别出了修订版。在2006年本书通过了教育部的评审,被纳入普通高等教育“十一五”国家级规划教材;2008年出版的第5版获得了教育部2009年精品教材称号。2013年出版的第6版是“十二五”普通高等教育本科国家级规划教材。 目前2017年发行的第7版又在第6版的基础上进行了一些修订。 全书分为9章,比较......一起来看看 《计算机网络(第7版)》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

SHA 加密
SHA 加密

SHA 加密工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具