内容简介:Flink 支持有状态的操作和用户方法。例如,窗口操作使用状态维护不断追加的聚合数据,sink 操作使用状态保证一致性提供 exactly-once 语义。Flink 状态主要分为两种:Flink 支持三种状态后端:
Flink 支持有状态的操作和用户方法。例如,窗口操作使用状态维护不断追加的聚合数据,sink 操作使用状态保证一致性提供 exactly-once 语义。
Flink 状态主要分为两种:
- 操作状态
- 键状态
Flink 支持三种状态后端:
- 内存
- 文件系统
- RocksDB
操作状态
操作状态(Operator State),即每个操作状态绑定到一个并发操作实例上。
Flink 提供了以下操作状态:
- Broadcast State:
BroadcastState<K,V>广播状态,存储在广播状态中的元素可以被所有的操作访问。
键状态
Flink 提供了以下键状态:
- Value State:
ValueState<T>分区的单值状态。 - Map State:
MapState<UK,UV>分区的键值状态。 - List State:
ListState<T>分区的列表状态。 - Reducing State:
ReducingState<T>每次调用add(T)添加新元素,会调用 ReduceFunction 进行聚合。传入类型和返回类型相同。 - Aggregating State:
AggregatingState<IN,OUT>每次调用add(T)添加新元素,会调用 ReduceFunction 进行聚合。传入类型和返回类型可以不同。
状态后端
内存
适用场景:调试、无状态或可以容忍数据的丢失和重复。
文件系统
适用场景:普通状态、窗口、键值结构。
RocksDB
适用场景:超大状态、超长窗口、大型键值结构。
可查询的状态
TODO
TTL
TODO
参考
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 科普 | 菜鸟学习状态通道,Part-2:App 定制型状态通道
- 学习 PixiJS — 精灵状态
- Flutter状态管理学习手册(三)——Bloc
- 学习如何统计 Mysql 服务器状态信息
- 如何利用机器学习进行异常检测和状态监测
- 学习 vuex 源码整体架构,打造属于自己的状态管理库
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Python自然语言处理
(英)伯德、(英)克莱因、(美)洛普 / 东南大学出版社 / 2010-6 / 64.00元
《Python自然语言处理(影印版)》提供了非常易学的自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印版)》中,你将学会编写Python程序处理大量非结构化文本。你还将通过使用综合语言数据结构访问含有丰富注释的数据集,理解用于分析书面通信内容和结构的主要算法。 《Python自然语言处理》准备了充足的示例和练习,......一起来看看 《Python自然语言处理》 这本书的介绍吧!