内容简介：前面分析了Hudi默认的索引实现HoodieBloomIndex，其是基于分区记录所在文件，即分区路径+recordKey唯一即可，Hudi还提供了HoodieGlobalBloomIndex的实现，即全局索引实现，只需要recordKey唯一即可，下面分析其实现。HoodieGlobalBloomIndex是HoodieBloomIndex的子类，其主要重写了父类的如下几个方法对于加载分区下所有最新文件而言，
1. 介绍
前面分析了Hudi默认的索引实现HoodieBloomIndex，其是基于分区记录所在文件，即分区路径+recordKey唯一即可，Hudi还提供了HoodieGlobalBloomIndex的实现，即全局索引实现，只需要recordKey唯一即可，下面分析其实现。
2. 分析
HoodieGlobalBloomIndex是HoodieBloomIndex的子类，其主要重写了父类的如下几个方法
对于加载分区下所有最新文件而言， loadInvolvedFiles 核心代码如下
首先会获取所有的分区路径，然后调用父类方法获取分区下最新数据文件。
对于查找记录对应的文件而言， explodeRecordRDDWithFileComparisons 核心代码如下
可以看到和 HoodieBloomIndex#explodeRecordRDDWithFileComparisons 处理逻辑类似，在使用索引过滤器获取所有匹配的文件和分区路径时，此时比较的是所有分区下的文件，不再是指定的分区路径。
对于将位置信息推回至原始记录而言， tagLocationBacktoRecords 核心代码如下
其处理逻辑与父类处理逻辑相同，也是使用一次左外连接将位置信息推回至原始记录。
3. 总结
对于 HoodieGlobalBloomIndex 而言，其是全局的索引，即会在所有分区内查找指定的recordKey，而非像 HoodieBloomIndex 只在指定的分区内查找，同时在加载分区下所有最新文件时，其会首先获取所有分区，然后再获取所有分区下的最新文件，而非使用从原始记录中解析出来的分区路径。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- MySQL——索引实现原理
- HBase 二级索引实现方案
- 基于 B + Tree 的索引实现
- Lucene倒排索引实现原理探秘(2)
- Sphinx&coreseek实现中文分词索引
- 使用 Docker 和 Nginx 实现简单目录索引服务
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
从界面到网络空间
（美）海姆 / 金吾伦/刘钢 / 上海科技教育出版社 / 2000-7 / 16.40元
计算机急剧改变了20世纪的生活。今天，我们凭借遍及全球的计算机网络加速了过去以广播、报纸和电视形式进行的交流。思想风驰电掣般在全球翻飞。仅在角落中潜伏着已完善的虚拟实在。在虚拟实在吕，我们能将自己沉浸于感官模拟，不仅对现实世界，也对假想世界。当我们开始在真实世界与虚拟世界之间转换时，迈克尔·海姆问，我们对实在的感觉如何改变？在〈从界面到网络空间〉中，海姆探讨了这一问题，以及信息时代其他哲学问题。他......一起来看看 《从界面到网络空间》 这本书的介绍吧!
