优步Uber向Apache软件基金会提交了一个开源大数据库Hudi

栏目: 软件资讯 · 发布时间: 6年前

内容简介:Hudi目前管理着超过4,000个表,在Uber存储了数PB的数据,同时将Apache Hadoop仓库访问延迟从几小时降低到30分钟以下。Hudi还以比公司以前使用的解决方案更低的成本和更高的效率为数百个增量数据流水线提供支持。Hudi已经发展成为一个通用的大数据存储系统,可以:快速管理和访问数PB数据的能力对于整个数据生态系统的可扩展增长至关重要。尽管如此,这种对规模和速度的综合需求

Hudi目前管理着超过4,000个表,在Uber存储了数PB的数据,同时将Apache Hadoop仓库访问延迟从几小时降低到30分钟以下。Hudi还以比公司以前使用的解决方案更低的成本和更高的效率为数百个增量数据流水线提供支持。

Hudi已经发展成为一个通用的大数据存储系统,可以:

  • 摄取和查询引擎之间的快照隔离,包括Apache Hive,Presto和Apache Spark
  • 支持回滚和保存点以恢复数据集
  • 自动管理文件大小和布局,以优化查询性能和目录列表
  • 近实时提取以使用新数据提供查询
  • 实时和柱状数据的异步压缩

快速管理和访问数PB数据的能力对于整个数据生态系统的可扩展增长至关重要。尽管如此,这种对规模和速度的综合需求 并不总是自然地适合 现有的批处理和流式系统架构。

Hudi于2016年以代号“Hoodie”开发,旨在解决摄取和ETL管道中的低效问题,这些管道需要Uber 大数据生态系统中的 upsert和增量消费原语。为了与更广泛的大数据社区分享这些好处,优步于2017年开放Hudi。

展望未来, 该项目将与The Apache Software Foundation共存 。请查看 Apache Hudi项目页面, 了解技术文档和社区参与指南。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

个性化网页设计与鉴赏

个性化网页设计与鉴赏

梁景红 / 西安电子科技大学出版社 / 2003-07-14 / 22.00

本书比较全面地介绍了网页设计应注意的相关问题, 在网页设计基础方面着重讲解了网页框架、页面元素、色彩设计,分析了一些人们容易忽视的细小环节,如页面装饰物、图片、文字、连接等。书中结合实例分析了优秀网页的设计创意思想,可以给读者提供一些启示。书中还介绍了作为网页设计者需要了解的信息管理和技术应用,以及网站VI设计和视觉美学等必要知识,读者可针对各种类别的站点具体实践这些知识,寻找进行网页设计的切入点......一起来看看 《个性化网页设计与鉴赏》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具