内容简介:HDFS:文件,块,副本假如:一个文件test.log,大小为200M,
HDFS:
文件,块,副本
假如:一个文件test.log,大小为200M,
一块(block),默认的blocksize是128M, 两个块=一个128M + 一个72M 副本:HDFS默认3副本 三个机器:node1:blk1 blk2 即使第一台机器挂掉了,也不影响 node2:blk1 node3:blk2 node4:blk1 blk2
MapReduce:一个经典的wordcount的问题
文件内容:bear,apple,this,
some,you,love,apple, love,bear,this
先是split,分成一行一行的,然后map,每行的单个内容分开,{bear,1},{apple,1}{this,1}然后shuffle,{bear,[1,1]},{apple,[1,1]},{this,[1,1]},最后reduce得到最终结果{bear,2},{apple,2},{this,2}
YARN 资源调度器, Yet Another Resource Negotiator
负责整个集群的资源管理和调度
常用的hadoop发行版及选择:
Apache
优点:纯开源
缺点:不同版本/不同框架之间会有jar包冲突
CDH
优点:cm(cloudera manager)通过页面一键安装各种框架 升级
缺点:cm不开源
Hortonworks:HDP
优点:原装hadoop
缺点:企业级安全不开源
以上所述就是小编给大家介绍的《新手入门大数据 Hadoop基础与电商行为日志分析(二)》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 树莓派新手入门教程
- 木兰重生:交互环境复现,新添新手入门
- Spark新手入门(单机模式)——Scala环境准备
- 新手如何快速入门数据分析?
- 新手入门之spring boot介绍及使用详解
- Elasticsearch 零基础到入门新手教程
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
一站式学习C编程
宋劲杉 / 电子工业出版社 / 2011-3 / 59.00元
《一站式学习c编程》有两条线索,一条线索是以linux平台为载体全面深入地介绍c语言的语法和程序的工作原理,另一条线索是介绍程序设计的基本思想和开发调试方法。本书分为两部分:第一部分讲解编程语言和程序设计的基本思想方法,让读者从概念上认识c语言;第二部分结合操作系统和体系结构的知识讲解程序的工作原理,让读者从本质上认识c语言。 《一站式学习c编程》适合做零基础的初学者学习c语言的第一本教材,......一起来看看 《一站式学习C编程》 这本书的介绍吧!