Flink 分布式运行时环境（Distributed Runtime Environment）

内容简介：对于分布式的执行，Flink将操作子任务下图中的示例数据流由五个子任务执行，因此具有五个并行线程。操作链接导任务

对于分布式的执行，Flink将操作子任务 链接(chain) 到 任务(task) 中。每个任务由一个线程执行。将操作链接到任务是一项有用的优化：它可以减少线程到线程切换和缓冲的开销，并在降低延迟的同时提高整体吞吐量。链接行为可以配置;有关详细信息，请参阅链接文档。

下图中的示例数据流由五个子任务执行，因此具有五个并行线程。

Flink 分布式运行时环境（Distributed Runtime Environment）

操作链接导任务

作业管理器，任务管理器和客户端

Flink运行时包含两种类型的进程：

作业管理器（ JobManagers， 也称为 master ）协调分布式执行。他们安排任务，协调检查点，协调故障恢复等。

至少有一个Job Manager。设置高可用（HA, High-Availability）的话将具有多个JobManagers，其中一个始终是 领导者(leader) ，其它的处于 待机状态(standby) 。
任务管理器（ TaskManagers， 也称为 worker ）执行数据流的任务（或更具体地说，子任务），并缓冲和交换数据流。

必须始终至少有一个TaskManager。

JobManagers和TaskManagers可以通过多种方式启动：独立集群直接在机器里启动，或在容器中，或由 YARN 或 Mesos 等资源框架来管理。 TaskManagers连接到JobManagers，通知自己可用，然后被分配任务。

客户端不是运行时和程序执行的一部分，而是被用于准备数据流并将数据流发送到JobManager。之后，客户端可以断开连接或保持连接以接收进度报告。客户端要么作为触发执行的Java / Scala程序的一部分运行，要么是在命令行进程中运行 ./bin/flink run ….

执行Flink数据流所涉及的过程

任务槽和资源

每个worker（TaskManager）都是一个 JVM进程 ，可以在不同的线程中执行一个或多个子任务。为了控制worker接受的任务数量，worker中有 任务槽（task slots） （至少一个）。

每个 任务槽 代表TaskManager的固定资源子集。例如，具有三个任务槽的TaskManager会将其1/3的托管内存分配到每个插槽。切换资源意味着子任务不会与来自其他作业的子任务竞争托管内存，而是竞争具有一定量的保留托管内存。请注意，这里没有CPU隔离;当前任务槽只分离任务的托管内存。

通过调整任务槽的数量，用户可以定义子任务之间如何相互隔离。每个TaskManager有一个插槽意味着每个任务组在一个单独的JVM中运行（例如，可以在一个单独的容器中启动）。拥有多个插槽意味着更多子任务共享同一个JVM。同一JVM中的任务共享TCP连接（通过多路复用）和心跳消息。它们还可以共享数据集和数据结构，从而减少每任务开销。

具有任务槽和任务的TaskManager

默认情况下，Flink允许子任务共享插槽，即使它们是不同任务的子任务，只要它们来自同一个作业。结果就是，一个槽可以保存作业的整个管道。允许此插槽共享有两个主要好处：

Flink集群需要的任务槽数量与作业中使用的最高并行度的任务槽一样多。无需计算程序总共包含多少任务（具有不同的并行性）。
更容易获得更好的资源利用率。没有插槽共享，非密集的 source/ map() 子任务将占用与资源密集型窗口子任务一样多的资源。通过插槽共享，将示例中的基本并行性从2增加到6可以充分利用时隙资源，同时确保繁重的子任务在TaskManagers之间公平分配。

具有共享任务槽的TaskManagers

API还包括资源组机制，可用于防止意外的插槽共享。

根据经验，一个很好的默认任务槽数就是CPU核心数。使用超线程，每个插槽然后需要2个或更多硬件线程。

State Backends(状态后端?)

存储键/值索引的确切数据结构取决于所选的 state backend 。一个state backend将数据存储在内存中的哈希映射中，另一个state backend使用 RocksDB 作为键/值存储。除了定义保存状态的数据结构之外，state backend还实现了获取键/值状态的时间点快照，并将该快照存储为检查点的一部分的逻辑。