Spark SQL 源码分析(四):SessionCatalog

栏目: 编程工具 · 发布时间: 7年前

SessionCatalog 是底层元数据(基于内存和基于 Hive)的代理,同时也负责临时视图和函数的管理。

SessionCatalog 类图:

Spark SQL 源码分析(四):SessionCatalog

ExternalCatalog

ExternalCatalog 用于管理数据库、表、分区和函数,在 Spark SQL 中具体有两个实现:

InMemoryCatalog
HiveExternalCatalog

InMemoryCatalog

ExternalCatalog 基于内存(内部使用 scala.collection.mutable.HashMap )的实现,主要用于测试和探索。不建议用于生产环境。

HiveExternalCatalog

ExternalCatalog 基于 Hive(内部使用 org.apache.hadoop.hive.ql.metadata.Hive )的实现。

GlobalTempViewManager

GlobalTempViewManager 是线程安全的全局临时视图管理器,提供了对全局视图的原子操作,包括创建、更新和删除等。

内部由 scala.collection。mutable.HashMap[String, LogicalPlan] 实现。

FunctionResourceLoader

TODO

FunctionRegistry

提供了函数的注册、查找和删除等功能。

默认实现类 org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry

基于 Spark 2.3.0 版本


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

算法设计与应用

算法设计与应用

迈克尔 T. 古德里奇(Michael T. Goodrich)、罗伯特·塔马契亚(Roberto Tamas / 乔海燕、李悫炜、王烁程 / 机械工业出版社 / 2017-11-20 / CNY 139.00

本书全面系统地介绍算法设计和算法应用的各个领域,内容涵盖经典数据结构、经典算法、算法分析方法、算法设计方法以及算法在各个领域的应用,还包含一些高级主题。本书采用应用驱动的方法引入各章内容,内容编排清晰合理,讲解由浅入深。此外,各章都附有巩固练习、创新练习和应用练习三种类型的题目,为读者理解和掌握算法设计和应用提供了很好的素材。 本书可作为高等院校计算机及相关专业“数据结构和算法”课程的本科生......一起来看看 《算法设计与应用》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

MD5 加密
MD5 加密

MD5 加密工具

SHA 加密
SHA 加密

SHA 加密工具