CSharpFlink 实时计算引擎，增加一个窗口或表达式计算任务支持多个算子实例

内容简介：更新内容： 1.计算任务增加ResultId，用于保存（Sink）数据的时候标识计算结果。 2.窗口或表达式计算任务支持多个算子实例，应用场景，例如：一个窗口的数据，可以同时计算和值、均值或最大值等。 CSharpFlink a ...

更新内容：

1.计算任务增加ResultId，用于保存（Sink）数据的时候标识计算结果。

2.窗口或表达式计算任务支持多个算子实例，应用场景，例如：一个窗口的数据，可以同时计算和值、均值或最大值等。

CSharpFlink

a real-time computing framework

官方网址 http://www.ineuos.net/

技术博客 https://www.cnblogs.com/lsjwq/

gitee地址：https://gitee.com/wxzz/CSharpFlink

1 项目背景

      我们有一个全国性质的面向工业的公有云平台，通过专线或4G的链路方式实时向平台传输数据，每天处理1亿条左右的数据量，为现场用户提供实时的在线服务和离线数据分析服务。现在已经上线稳定运行有将近3年的时间。同时也为工业企业提供私有云建设服务。
      我们计划使用Flink作为云平台后台的实时计算部分，基本实现数据点的聚合计算、表达式规则计算等业务，进一步实现机器学习或自定义复杂算法的需求。
      我们经过将近一年左右时间的研究及开发，已经基本实现了聚合和逻辑等业务，但是感觉Flink比较重，并且应用和运维的水平要求比较高。
      基于上述情况，我们自主使用NET 5.0开发一套CSharpFlink实时计算组件，支持自定义数据源、计算和存储的基本要求。

2 应用场景

主要面向物联网、工业互联网私有云或公有云平台建设过程中的数据点实时聚合和表达式计算。应用场景包括：

• 数据点的实时时间窗口范围内聚合计算，例如：最大值、最小值、平均值、和值、众数、方差、中位数等，可以自定义二次开发。
• 数据点的历史延迟窗口的一段时间范围内数据补充或更新的重新计算。
• 数据点的表达式计算，支持自定义C#脚本进行编辑，实时预警或数据深度加工处理。
• 主从结构的分布式部署，主节点负责计算任务分发，工作节点负责任务计算及结果存储。

3 框架特点

主要特点主要是根据我们多年的物联网、工业项目经验的提炼和总结，满足实现应用场景，特点包括：

• 使用最新的NET 5.0进行开发，完全跨平台。
• 实时数据窗口范围外的数据补发或更新的重新计算，例如：当前5秒的实时数据窗口，支持5秒以前的数据补充和更新，并且进行重新计算及更新到数据存储单元。
• 实时数据表达式计算支持定时计算或数据值改事件变触发计算，满足实时表达式或周期性计算。
• C#语言的二次开发，对接多种数据源，自定义算子和多种方式数据存储等。
• 单节点或分布式部署。

以上所述就是小编给大家介绍的《CSharpFlink 实时计算引擎，增加一个窗口或表达式计算任务支持多个算子实例》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• Python 图像处理 OpenCV （13）： Scharr 算子和 LOG 算子边缘检测技术
• Spark 算子讲解（action 篇）
• Option和Result相关的组合算子
• Apache Flink 漫谈系列 - JOIN 算子
• Spark 系列（四）—— RDD常用算子详解
• 边缘检测原理 - Sobel, Laplace, Canny算子

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。