内容简介：Make Flink|Spark easier!!! 大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎...
Make Flink|Spark easier!!!
大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体的解决方案
重要特性
- 开发脚手架
- 多版本Flink支持(多版本无缝支持1.11.x,1.12.x,1.13.x)
- 一系列开箱即用的connectors
- 支持项目编译功能(maven 编译)
- 在线参数配置
- 支持 `Applicaion` 模式， `Yarn-Per-Job` 模式启动
- 快捷的日常操作(任务`启动`、`停止`、`savepoint`，从`savepoint`恢复)
- 支持火焰图
- 支持 `notebook` (在线任务开发)
- 项目配置和依赖版本化管理
- 在线管理依赖(maven pom)和自定义jar
- Flink SQL WebIDE
- 支持 Catalog、Hive
- 任务失败告警和重试重
软件架构
项目地址
Github: streamxhub/streamx: Make Flink|Spark easier!!! (github.com)
Gitee: benjobs/StreamX (gitee.com)
快速上手
快速上手开发 | StreamX (streamxhub.com)
平台快速使用 | StreamX (streamxhub.com)
StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,欢迎大家提交 PR 或 Issue。喜欢可以给个 Star。现已正式发布1.0.0,经历无数汗水,现终于得见天日. 现在她如初生婴儿一般满怀无限憧憬的出现在世人面前,眼下还是一团薪薪之火,期待大家的热情让她烈焰燎原起来.请多多关照,多多支持!
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
