一文读懂 Spark SQL 运行流程

作者：王振华

责编：云湖湖

Spark SQL是什么

Spark SQL是Spark系统的核心组件，为来自不同数据源、不同格式的数据提供了结构化的视角，让用户可以使用 SQL 轻松的从数据中获取有价值的信息。

图 Spark生态

在Spark中，Spark SQL并不仅仅是狭隘的SQL，而是作为Spark程序优化、执行的核心组件。流计算、机器学习、图计算、深度学习等应用都可以转化为DataFrame/Dataset的API。这些API和通常的SQL一样，共享优化层、执行层，共享访问多种数据源的能力。可以说，Spark SQL是让Spark应用程序拥有高效性、高可容错性和丰富生态的“幕后英雄”。

图 Spark SQL的角色

Spark SQL核心——Catalyst查询编译器

Spark SQL的核心是一个叫做Catalyst的查询编译器，它将用户程序中的SQL/Dataset/DataFrame经过一系列操作，最终转化为Spark系统中执行的RDD。

Catalyst中的框架如下图所示，它有以下几个重要组成部分：

兼容ANSI SQL 2003标准和HiveQL。将SQL/Dataset/DataFrame转化成一棵未经解析（Unresolved）的树，在Spark中称为逻辑计划（Logical Plan），它是用户程序的一种抽象。

Analyzer

利用目录（Catalog）中的信息，对Parser中生成的树进行解析。Analyzer有一系列规则（Rule）组成，每个规则负责某项检查或者转换操作，如解析SQL中的表名、列名，同时判断它们是否存在。通过Analyzer，我们可以得到解析后的逻辑计划。

Optimizer

对解析完的逻辑计划进行树结构的优化，以获得更高的执行效率。优化过程也是通过一系列的规则来完成，常用的规则如谓词下推（Predicate Pushdown）、列裁剪（Column Pruning）、连接重排序（Join Reordering）等。此外，Spark SQL中还有一个基于成本的优化器（Cost-based Optmizer），是由DLI内部开发并贡献给开源社区的重要组件。该优化器可以基于数据分布情况，自动生成最优的计划。

Planner