基于微服务的分布式流处理和批处理数据通道 Spring Cloud Data Flow

• 授权协议: Apache-2.0
• 开发语言: Java
• 操作系统: 跨平台
• 软件首页: https://cloud.spring.io/spring-cloud-dataflow/
• 软件文档: https://cloud.spring.io/spring-cloud-dataflow/#quick-start
• 官方下载: https://github.com/spring-cloud/spring-cloud-dataflow/releases

软件介绍

Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计，该项目目标是简化大数据应用的开发。

Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有：应用程序、Data Flow Server 和运行时环境。

Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。

特点

1.使用 DSL，REST-APIs，Dashboard 和 drag-and-drop gui 开发
2.独立的创建，单元测试，故障排除，和管理微服务程序
3.使用开箱即用的 stream 和 task/batch 应用迅速的构建数据通道
4.把微服务作为 maven 或者 Docker 的构件
5.在不中断数据流的情况下扩展数据通道
6.在现代运行环境平台上编配以数据为中心的应用程序
7.利用度量，健康检查远程管理每一个微服务程序

架构

Spring Cloud Data Flow 简化了应用程序的开发和部署，将精力集中到数据处理的用例上 
主要的架构概念在应用程序、data flow 服务器和目标运行环境上

应用程序有两个特点：

1.周期长的流处理，程序通过消息中间件消费和产生连续不断的数据
2.短周期的任务处理，程序处理有限的数据集合然后中断

取决于运行环境，应用程序可以有两种打包方式

1.Spring Boot 打成 jar 包可以托管在一个 maven 仓库，文件，http 或者是其他 spring 资源实现
2.Docker

运行环境支持：

- Cloud Foundry
- Apache YARN
- Kubernetes
- Apache Mesos

本文地址：https://codercto.com/soft/d/1568.html