基于微服务的分布式流处理和批处理数据通道 Spring Cloud Data Flow

码农软件 · 软件分类 · 微服务框架 · 2019-03-17 19:12:06

软件介绍

Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计,该项目目标是简化大数据应用的开发。

Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有:应用程序、Data Flow Server 和运行时环境。

Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。

特点

1.使用 DSL,REST-APIs,Dashboard 和 drag-and-drop gui 开发
2.独立的创建,单元测试,故障排除,和管理微服务程序
3.使用开箱即用的 stream 和 task/batch 应用迅速的构建数据通道
4.把微服务作为 maven 或者 Docker 的构件
5.在不中断数据流的情况下扩展数据通道
6.在现代运行环境平台上编配以数据为中心的应用程序
7.利用度量,健康检查远程管理每一个微服务程序

架构

Spring Cloud Data Flow 简化了应用程序的开发和部署,将精力集中到数据处理的用例上 
主要的架构概念在应用程序、data flow 服务器和目标运行环境上

应用程序有两个特点:

1.周期长的流处理,程序通过消息中间件消费和产生连续不断的数据
2.短周期的任务处理,程序处理有限的数据集合然后中断

取决于运行环境,应用程序可以有两种打包方式

1.Spring Boot 打成 jar 包可以托管在一个 maven 仓库,文件,http 或者是其他 spring 资源实现
2.Docker

运行环境支持:

- Cloud Foundry
- Apache YARN
- Kubernetes
- Apache Mesos

本文地址:https://codercto.com/soft/d/1568.html

O2O进化论

O2O进化论

板砖大余、姜亚东 / 中信出版社 / 2014-5 / 49

在互联网的1.0时代,Online的商业和Offline的商业就像是两条平行线,没有交汇点,在移动浪潮下,他们正在交汇,这就是O2O(Online to Offline)。于是,人们认为:O2O就是线下将线上作为销售前台。结论是对的,但并非简单相加就可以达到。人们已经进入数据革命时期,O2O是线上和线下全流通的数据化工具,电子商务就是非数据商品的数据化。其次,O2O还是一种竞争格局。这决定了以O2......一起来看看 《O2O进化论》 这本书的介绍吧!

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具