内容简介:自从Hadoop的出现,引领大数据的浪潮越来越热。大数据存储的主要技术路线有几种:1.Hadoop
自从Hadoop的出现,引领大数据的浪潮越来越热。大数据存储的主要技术路线有几种:
1.Hadoop
2.Cassandra
3.MongoDB
Hadoop是Apache的开源项目,同时有很多商业公司对Hadoop进行版本发行和商业支持,参见:http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support
其中在最有名为人所知的三家:
1.Cloudera
2.Hortonwork
3.MapR
这三个厂商之中,MapR最为封闭;Hortonworks最为开放,产品线全开源,在线文档比较丰富。国内使用Cloudera CDH和Hortonworks的应该是最多的。
准实时计算框架/即席查询
1.CDH的框架有:Impala + Spark;
2.HDP的框架有:Tez + Spark;
3.MapR的框架有:Drill + Tez + Spark。
关于Spark:
2014年大数据最热门的技术路线就是算是Spark了,而且得力于Spark不遗余力的推广和快速成长。Cloudera是最早支持Spark,也是最激进的。下图即是Spark在Cloudera产品线中的定位:
实际上快速计算框架的发展才刚刚开始,社区中已经有如下几种:
1.Spark/Shark
2.Hortonworks Tez/Stinger
3.Cloudera Impala
4.Apache Drill
5.Apache Flink
6.Apache Nifi
7.Facebook Presto
以上所述就是小编给大家介绍的《自从Hadoop的出现,大数据的主要技术是什么?》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 苹果CloudKit出现问题:部分应用数据丢失
- sqlserver还原数据库的时候出现提示无法打开备份设备的解决方法(设备出现错误或设备脱)
- JDBC连接Mysql数据库出现的问题汇总
- 数据库存数据时,逻辑上防重了为啥还会出现重复记录?
- 关于synchronized锁在Spring事务中进行数据更新同步,仍出现线程安全问题
- php与mysql系统中出现大量数据库sleep的空连接问题分析
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。