Hadoop 不再权威，开源大数据的未来何去何从？

屈指算来，Hadoop 已经诞生 13 年了。它最早诞生于 2006 年，并在 2008 年成为 Apache 顶级项目。诞生后没过多久就成为了互联网行业大数据计算的标准配置，同时也成了 Apache 软件基金会的金牌项目之一。但从 2016 年开始，国内外就开始出现唱衰 Hadoop 的声音，以 Hadoop 为代表的开源大数据的未来何去何从？

十年前，三家资金雄厚的初创公司 Cloudera、Hortonworks 和 MapR 开始围绕 Hadoop 开源生态系统中的产品和服务进行商业化。有关 Hadoop 的炒作在 2014 年初达到了巅峰。当时，Cloudrea 筹集了大约 9 亿美元的巨额融资，估值为 41 亿美元。

“最近 Cloudrea 和 MapR 的争端上了很多媒体的头条，不由让公众想知道这场争端对大数据的未来意味着什么。”Unravel Data 首席执行官 Kunal Aganwal 表示。“企业对数据的兴趣是正在减弱吗？完全没有的事。只是由于大数据向公用云快速转型，导致这些公司步履蹒跚，这些专为本地部署而设计的平台已经没有什么增长潜力了。由于大数据对于高弹性计算的需求，它天然更适合云计算。此外，现代数据系统正变得越来越复杂，它们在本地管理要比在云端管理更加困难。 随着新的数据栈横空出世，Hadoop 不再是权威的大数据技术了 ：像 Spark 和 Kafka 这样的技术正在兴起，以支持使用人工智能和机器学习的现代数据应用。 Hadoop 不会消失，也不是所有的数据工作负载都会迁移到云端 ，但公有云和 Spark 等技术将越来越多地定义大数据，任何不积极支持它们的供应商将会继续蒙受损失。”

Hortonworks 于 2014 年面市，Cloudera 紧随其后，于 2017 年上市。但随着市场竞争的加剧，客户开始迅速转向云端，两家公司的股价都出现了暴跌。去年秋季，Cloudrea 和 HortonWorks 合并，但合并后的公司股票持续下跌，市值缩水了一半。MapR 在四年多前就宣布了上市计划，但从未贯彻执行，而是选择在 2016 年和 2017 年再筹集两轮风险投资。最近有 消息 称，如果 MapR 不能获得更多资金，可能会削减多达 122 个工作岗位，并关闭位于加利福尼亚州圣克拉拉的总部。

“最近关于 Cloudrea 和 MapR 的新闻引发了关于 Hadoop 未来何去何从 的争论，以及所有用于管理大数据工作负载的开源框架。”Clairvoiant 公司的首席执行官 Chandra Ambadipudi 评论道。“一个重要的因素是，Hadoop 在管理和利用它所需的资源方面被市场大大低估了。Hadoop 确实实现了它作为低成本、可伸缩且健壮的开源解决方案的承诺。但管理其复杂性所需的人才和数据工程师的数量，以及他们的短缺，都已经达到了顶点。”

现在，Cloudrea 成为唯一重要的 Hadoop 公司，在经历 MapR 新闻风波之后，以下是关于开源大数据平台未来从本地到云端（以及 Microsoft、AWS、Google 等云计算巨头）的一些见解和想法。

• Hadoop 的可行性饱受质疑，并非因为它是一种槽糕的技术（实际上，Hadoop 技术非常好），而是因为将 Hadoop 作为开源产品来管理太过复杂导致面临人才瓶颈。与炒作相比，所需的资源水平被大大低估了。
• 问题是，云计算巨头是否会完全占据这个领域？Databricks 和 Snowflake 正在着手解决与大数据实现方面的技能差距。
• 生态系统中仍然会出现整合行为（就像 Microsoft 收购 MapR 一样），只有时间才能告诉我们，这一切对生态系统是否有益（厂商锁定）。
• 与此类似，正在崛起的其他大数据平台如 Apache Kafka，也可能面临开源解决方案的挑战（就像 Cloudrea 作为开源 Hadoop 的发行商面临的挑战一样）。

“随着云计算巨头继续‘吞噬世界’，像 Snowflake 和 DataBricks 这样的平台也在崛起，开始尝试弥合大数据人才和技能的鸿沟，”Ambadipudi 补充道，“如果市场出现进一步的整合，比如有某些云计算公司收购了 MapR 和其他 Hadoop 公司，我将不会感到惊讶。由于低延迟和可伸缩性，Kafka 越来越受欢迎，并得到了广泛的采用。但就像 Cloudera 利用 Hadoop 一样，Confluent 的 Kafka 企业版做的也是同样的事情，所以他们也可能面临与开源平台相同的挑战。无论采用哪一种大数据实现方式，目前所需的技能都是短缺的，而且对专家管理服务的需求仍将居高不下。”

英文原文：

https://insidebigdata.com/2019/06/14/the-future-of-open-source-big-data-platforms/