新手入门大数据 Hadoop基础与电商行为日志分析(二)

栏目: 编程工具 · 发布时间: 5年前

内容简介:HDFS:文件,块,副本假如:一个文件test.log,大小为200M,

HDFS:

文件,块,副本

假如:一个文件test.log,大小为200M,

一块(block),默认的blocksize是128M, 两个块=一个128M + 一个72M
  副本:HDFS默认3副本
 
  三个机器:node1:blk1 blk2 即使第一台机器挂掉了,也不影响
          node2:blk1
          node3:blk2
          node4:blk1 blk2

MapReduce:一个经典的wordcount的问题

文件内容:bear,apple,this,

some,you,love,apple,
     love,bear,this

先是split,分成一行一行的,然后map,每行的单个内容分开,{bear,1},{apple,1}{this,1}然后shuffle,{bear,[1,1]},{apple,[1,1]},{this,[1,1]},最后reduce得到最终结果{bear,2},{apple,2},{this,2}

YARN 资源调度器, Yet Another Resource Negotiator

负责整个集群的资源管理和调度

常用的hadoop发行版及选择:

Apache

优点:纯开源

缺点:不同版本/不同框架之间会有jar包冲突

CDH

优点:cm(cloudera manager)通过页面一键安装各种框架 升级

缺点:cm不开源

Hortonworks:HDP

优点:原装hadoop

缺点:企业级安全不开源


以上所述就是小编给大家介绍的《新手入门大数据 Hadoop基础与电商行为日志分析(二)》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

人机交互:以用户为中心的设计和评估

人机交互:以用户为中心的设计和评估

董建明、傅利民、[美]沙尔文迪 / 清华大学出版社 / 2003-9-1 / 28.00

本书综述部分介绍了与“用户为中心的设计和评估”方法相关的背景知识及发展概况。其后,分3篇分别介绍了解用户、用户界在设计和可用性评估的内容及一些相关的研究专题。最后,第11章讨论了在组织中实施以用户为中心的设计的专题。本书主要面向的读者包括:软件或网站的设计人员。同时本书也可成为“现代人因工程学”及“以用户为中心的设计”的教材,还可作为软件或网站公司经理的提高用户满意度或提升公司形象的手册。一起来看看 《人机交互:以用户为中心的设计和评估》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

随机密码生成器
随机密码生成器

多种字符组合密码

URL 编码/解码
URL 编码/解码

URL 编码/解码