异步批量调度框架 openhandx batch

• 授权协议: GPL
• 开发语言: Java
• 操作系统: 跨平台
• 软件首页: https://gitee.com/pengminghua/openhandx-batch
• 软件文档: https://gitee.com/pengminghua/openhandx-batch

软件介绍

分布式批量架构是解决复杂业务处理、数据分析、科学计算等耗时工作任务，这些任务被安排在特定的服务器上执行，被统一规划、拆分成子任务、统一调度、并发执行，大大提高了执行效率和可靠性，另外异步批量架构可以部署在网络内的任意服务器或PC上形成企业的云计算。

基本原理：举例说明异步批量的最基本原理，实际应用要比这复杂得多。比如：某企业要生成年终表报，并且年终报表要按照企业的各个部门、分公司出，报表的数据来源有企业的财务系统、ERP系统、CRM系统。
技术分析：

• 1、生成报表首先要把数据从各个系统中数据抽取、加工、汇总，最终生成报表，每步操作都要按照各个部门、分公司分类。

• 2、总公司报表要等到各个部门和分公司加工、汇总的数据出来后再汇总，最后生成总公司报表。

• 3、各个部门和分公司的数据抽取、加工、汇总可以是并行处理的，各个部门和分公司的报表生成可以和总公司的数据汇总并行处理。

批量执行步骤：

• 1、首先由客户端或应用系统发起一个年终报表的事件

• 2、总控服务器收到事件后，根据当前的事件类型，找到预先配置年终报表的节点运行图（比如节点运行图中有财务系统数据抽取节点、ERP数据抽取节点、数据加工节点、数据汇总节点、部门公司报表生成节点、总公司数据汇总节点、总公司报表生成节点）

• 3、总控服务器根据节点运行图按照节点的先后顺序及依赖关系，成分成许多任务（如：A部门的财务系统数据抽取任务、B部门的财务系统数据抽取任务、C部门的财务系统数据抽取任务、A部门的ERP数据抽取任务、B部门的ERP数据抽取任务、C部门的ERP数据抽取任务...）,并将这些任务发送到任务服务器去并发执行

• 4、任务服务器收到任务并执行任务，如：A部门的ERP数据抽取任务、B部门的财务系统数据抽取任务

• 5、任务服务器执行完任务后将任务信息反馈到总控服务器

• 6、总控服务器接收到任务反馈信息后，判断当前一批节点的任务否运行全部完成，如果完成则创建下一批任务（如：A部门数据加工节点任务、B部门数据加工节点任务、B部门数据加工节点任务），重复第3部直到所有节点的任务完成（最终生成所有报表）。

3. 总体逻辑结构

• 1、事件由应用系统或事件中心创建，通过事件通讯服务器到达已部署的总控服务器

• 2、总控服务器将事件按照预先定义好的节点图拆分、解析成任务，按照合适的条件再发送到任务通讯服务器，并记录日志

• 3、任务服务器根据自身的资源情况从任务通讯服务器接受相应的任务去执行，实现了负载均衡

• 4、任务执行完成后将记录日志，并将完成后的任务信息发送回任务通讯服务器

• 5、总控服务器再从任务通讯服务器取回任务信息，判断节点和事件的完成情况，如果未完成继续后续节点的拆分和任务的发送，如果全部节点的任务完成则该事件完成

本文地址：https://codercto.com/soft/d/13836.html