Cloudera 股价腰斩,Hadoop 将何去何从

栏目: 服务器 · 发布时间: 5年前

内容简介:Cloudera 昨天晚上美股开盘之后跳水 40%,这也昭示了 Hadoop 这一生态的衰败。Hadoop 包括两部分 MapReduce 和 HDFS,分别对应 Google 三架马车论文中的 MapReduce 和 GFS。后来 Hadoop 的 MapReduce 调度框架为了实现抽象度更高的资源调度,将编程模式剥离出调度框架,就出现了 YARN(Yet Another Resource Negotiator)。所以我们现在常说的 Hadoop 其实就是 HDFS 和 YARN。围绕 Hadoop 进

Cloudera 昨天晚上美股开盘之后跳水 40%,这也昭示了 Hadoop 这一生态的衰败。

Hadoop 包括两部分 MapReduce 和 HDFS,分别对应 Google 三架马车论文中的 MapReduce 和 GFS。后来 Hadoop 的 MapReduce 调度框架为了实现抽象度更高的资源调度,将编程模式剥离出调度框架,就出现了 YARN(Yet Another Resource Negotiator)。所以我们现在常说的 Hadoop 其实就是 HDFS 和 YARN。

围绕 Hadoop 进行商业化有著名的三巨头,分别是 Cloudera, Hortonworks 和 MapR,如今都不约而同的陨落了。

Cloudera

Cloudera 于 2008 年成立,创始人来自 Google, FaceBook 和 Yahoo!,在 2008 年还不知道大数据为何物的时候创办 Cloudera,可谓非常有眼光。还有一点不得不提的是,Cloudera 的首席架构师  Doug Cutting, 也就是是 Hadoop 的第一位作者,后来被 Yahoo! 招安,再之后转投 Cloudera。顺风顺水,后来升至 Apache 基金会主席。

Cloudera 的 Hadoop 发行版 CDH 是免费的,但是公司通过卖服务赚钱。比如 Hadoop 集群的管理软件,Cloudera Manager 就是收费的。Cloudera Manager 的功能包括集群的管理、部署、监控、升级等,简单来说就是运维。而这些都是公有云要做的,毕竟云计算就是卖运维。

Cloudera 在 2014 年随着不断融资,包括 Intel, Google,市值到达顶峰 41 亿美元。之所以说是顶峰,是因为之后的三年 Cloudera 的发展并没有如预想中的顺利,也终于在 2017 年以 20 多亿美元匆忙上市。

Hortonworks

Hortonworks 于 2011 年由于 Yahoo! 的 Hadoop 团队拆分而成,和 Cloudera 不同的是, Hortonworks 的代码是完全开源的。 但是相比 Cloudera 起步晚,而且缺少了  Doug Cutting 这种领袖人物,亮点可谓乏善可陈。公司成立三年就于 2014 年匆忙上市,上市之初市值十多亿美元。

无论是 Cloudera 还是 Hortonworks 都没有赶上云产商这班车,比如著名的开源软件吸血鬼 AWS,针对 Hadoop 生态的公有云产品 Elastic MapReduce 对 Cloudera 和  Hortonworks 两家公司不可谓不小。可能是疲于同行业内耗,最终两家公司与 2018 年 10 月份宣布合并,但是以事后的角度来看,合并并没有什么用。

MapR

MapR 的创始人  M. C. Srivas  来自于 Google。客观来说 GFS 架构设计其实并不是很好,HDFS 相当于对 GFS 论文的一种拙劣的模仿。而 Google 内部使用的分布式文件系统也是多方面碾压 HDFS。所以  M. C. Srivas 创立 MapR 的时候就将 Hadoop 的文件系统 HDFS 进行了重构,同时兼任了 Hadoop 协议,但是是闭源的。MapR 的商业化之路主打系统的性能等优于开源 Hadoop 的特性,在售价上也要高于 Cloudera。MapR 一度给人一种用技术挑战整个 Hadoop 社区的感觉,只不过很多人不买账。

在 MapR 看似一切都还发展不错的时候,M. C. Srivas 在 2016 年离开了 MapR 加入了 Uber。对于一个创业公司来说并不是一个好的信号,直到 2019 年 5 月底爆出消息,MapR 融资困难,可能在不久之后关闭。曾经估值高达 10 亿美元的一代枭雄或将在此陨落。

启示

Hadoop 除了这三家发行商,目前在各大云厂商上都还以 Elastic MapReduce 的形态存在,包括 AWS EMR,Aliyun EMR 等。目前来看,对于 Hadoop 的存在形态,还会在公有云上存在一段时间。但是还能存在多久,拭目以待。

H adoop 商业化平台的衰败或许并不能代表整个大数据行业的衰败,但是却预示着 Hadoop 的失败,对 Hadoop 的后续开发维护必然会产生影响。

作为 Hadoop 的替代产品,HDFS 在 AWS 上早已被 S3 取代。国内的各大公有云产生也有自己自研的文件系统。YARN 或许还能存在一段时间,很早之前就有人推崇使用 Kubernetes 来替代 YARN 作为资源调度器。但是由于 Kubernetes 的调度器是一种集中式的资源调度器,而 YARN 是两层资源调度器,目前 YARN 上面的作业并不能很容易地无缝迁移到 Kubernetes。

结语

Hadoop 本是 Google 的上一代技术三架马车(GFS, MapReduce, BigTable)的模仿,设计不可谓优雅,但是也发展了十年左右,也借着大数据的这班车抢尽风头。如今 Google 又开源了 Kubernetes 系统,大家才发现进程应该结合 Namespace 和 Cgroup 来跑,然后整个社区又被 Google 带着跑。

有的时候不得不说,号称不做恶的 Google 有的时候还是挺坏的。


以上所述就是小编给大家介绍的《Cloudera 股价腰斩,Hadoop 将何去何从》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

这就是搜索引擎

这就是搜索引擎

张俊林 / 电子工业出版社 / 2012-1-1 / 45.00元

搜索引擎作为互联网发展中至关重要的一种应用,已经成为互联网各个领域的制高点,其重要性不言而喻。搜索引擎领域也是互联网应用中不多见的以核心技术作为其命脉的领域,搜索引擎各个子系统是如何设计的?这成为广大技术人员和搜索引擎优化人员密切关注的内容。 本书的最大特点是内容新颖全面而又通俗易懂。对于实际搜索引擎所涉及的各种核心技术都有全面细致的介绍,除了作为搜索系统核心的网络爬虫、索引系统、排序系统、......一起来看看 《这就是搜索引擎》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

SHA 加密
SHA 加密

SHA 加密工具