Apache Hadoop 分布式存储系统 Ozone 1.0.0 发布

内容简介：经过 2 年多的社区持续开发和内部 1000+ 节点的实际落地验证，Ozone 1.0.0 终于发布了。 Ozone 是 Apache Hadoop 社区的新一代分布式存储系统，它的出现满足了大量小文件的存储问题，解决了 Hadoop 分布式文件系统...

经过 2 年多的社区持续开发和内部 1000+ 节点的实际落地验证，Ozone 1.0.0 终于发布了。

Ozone 是 Apache Hadoop 社区的新一代分布式存储系统，它的出现满足了大量小文件的存储问题，解决了 Hadoop 分布式文件系统在可扩展性上的缺陷。作为 Hadoop 生态圈的一款新的对象存储系统，能够支持百亿甚至千亿级文件规模的存储。

 

Ozone 1.0.0 除了支持 Hadoop Compatible FileSystem、Hadoop 2.x 以及 Hadoop3.x 环境，还兼容 Hadoop 生态的 Kerberos 认证体系，支持数据的用户无感知加密存放和 Ranger 授权集成、GDPR “Right to Erasure”以及网络构架感知。1.0.0 意味着该系统已经具备在大规模生产环境下实际部署的能力。

值得一提的是，根据腾讯介绍，腾讯云大数据团队在 Ozone 项目上主导完成了集群网络拓扑感知的开发，以及数据写入 Multi-Raft Pipeline 功能的开发。同时，主导的 StorageContainerManager(SCM) 高可用 HA 功能也正在开发中。

以集群网络拓扑感知来说，在传统的大数据构架下，有了网络拓扑结构，计算引擎的调度器可以将任务调度到离数据最近的节点来获取“数据的局部性”。即便是新兴的计算存储分离构架，同样也需要集群网络拓扑信息，来保证数据的故障容错能力和高可用性。

腾讯团队 Ozone 项目负责人陈怡介绍，在 Ozone 的 Alpha 版本发布后，腾讯内部的大数据平台上线了 Ozone 生产集群，承接了一部分业务的数据存储。随着数据服务体量的增加，逐渐发现 Ozone 写入性能显现出了一定的波动和瓶颈。基于这个发现，腾讯 Ozone 项目组设计并开发了数据写入 Multi-Raft Pipeline 功能，显著提升了 Ozone 的写入吞吐量和性能。

为了确保 Ozone 和 Hive、Spark 与 Impala 等计算框架的无缝对接，Ozone 1.0.0 与这几大平台进行了集成测试，TPC-DS 的测试表明，在 100GB 和 1TB 两种数据量大小下，Ozone 总体比 HDFS 有 3.5% 的优势。 

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 分布式存储ceph对象存储配置zone同步
• 未来的互联网存储：5 大分布式存储平台深入比较（中）
• GlusterFS分布式存储搭建双机复制卷结合Keepalived实现存储高可用
• 探索分布式存储应用
• 分布式存储架构设计
• 大数据之一 分布式存储

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。