内容简介：Make Flink|Spark easier!!! 大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎...
Make Flink|Spark easier!!!
大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体的解决方案
重要特性
- 开发脚手架
- 多版本Flink支持(多版本无缝支持1.11.x,1.12.x,1.13.x)
- 一系列开箱即用的connectors
- 支持项目编译功能(maven 编译)
- 在线参数配置
- 支持 `Applicaion` 模式， `Yarn-Per-Job` 模式启动
- 快捷的日常操作(任务`启动`、`停止`、`savepoint`，从`savepoint`恢复)
- 支持火焰图
- 支持 `notebook` (在线任务开发)
- 项目配置和依赖版本化管理
- 在线管理依赖(maven pom)和自定义jar
- Flink SQL WebIDE
- 支持 Catalog、Hive
- 任务失败告警和重试重
软件架构
项目地址
Github: streamxhub/streamx: Make Flink|Spark easier!!! (github.com)
Gitee: benjobs/StreamX (gitee.com)
快速上手
快速上手开发 | StreamX (streamxhub.com)
平台快速使用 | StreamX (streamxhub.com)
StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,欢迎大家提交 PR 或 Issue。喜欢可以给个 Star。现已正式发布1.0.0,经历无数汗水,现终于得见天日. 现在她如初生婴儿一般满怀无限憧憬的出现在世人面前,眼下还是一团薪薪之火,期待大家的热情让她烈焰燎原起来.请多多关照,多多支持!
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Is Parallel Programming Hard, And, If So, What Can You Do About
Paul E. McKenney
The purpose of this book is to help you understand how to program shared-memory parallel machines without risking your sanity.1 By describing the algorithms and designs that have worked well in the pa......一起来看看 《Is Parallel Programming Hard, And, If So, What Can You Do About 》 这本书的介绍吧!
