Apache Hadoop YARN

栏目: 服务器 · 发布时间: 6年前

内容简介:YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行

YARN是做什么的

YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。

Apache Hadoop YARN

如何管理资源

YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行 ResourceManager 进程作为master,其余每个节点上都运行一个 NodeManager 进程作为slave。

ResourceManager负责对集群中的所有资源进行统一的管理和调度。NodeManager进程负责单个节点上的资源管理,它监控一个节点上的资源使用情况(如cpu,内存,硬盘,网络等)并将其report给ResourceManager。

ResourceManager有两个主要的组件: SchedulerApplicationsManager

其中的Scheduler就负责为集群中运行的各个application分配所需要的资源。Scheduler只负责资源的调度,它不做任何对application监控或跟踪的工作,此外,在任务由于各种原因执行失败时,它也不负责对任务进行重启。

Scheduler根据application对资源的需求执行其资源调度功能。它将cpu、内存、硬盘、网络等资源合并成一个整体,抽象成 Container 进行资源分配。Container就是Scheduler进行资源分配的一个单位,也是运行在slave节点上的一个组件。

此外,Scheduler是一个可插拔的组件,用户可根据自己的需要设计新的Scheduler,YARN提供了多种可直接使用的调度器,比如Fair Scheduler和Capacity Scheduler等。

如何调度/监控任务

ApplicationMaster组件负责跟踪和管理一个application,它负责为application向ResourceManager中的Scheduler组件申请资源,并通过NodeManger启动和监控一个任务。

当向ResourceManager提交一个application时,必须为其指定一个ApplicationMaster组件。ResourceManager中的ApplicationsManager组件会对所有应用程序的ApplicationMaster进行管理,它首先会为ApplicationMaster组件分配资源,使其运行在一个slave节点的Container中。并负责监控ApplicationMaster的运行状态,在Container出现异常时对ApplicationMaster进行重启。

ApplicationsManager负责管理整个集群中的所有application,包括application提交、与Scheduler协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。


以上所述就是小编给大家介绍的《Apache Hadoop YARN》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

机器与人:埃森哲论新人工智能

机器与人:埃森哲论新人工智能

【美】保罗•多尔蒂 詹姆斯•威尔逊 / 赵亚男 / 中信出版社 / 2018-10-1 / 49.00元

自人工智能问世以来,人们普遍持有人机对立的观点,且无时无刻不在害怕自己的工作会被人工智能取代。作者认为,是时候抛开这些无谓的担忧了,因为人类社会正走向一个与机器共融共生的时代。 未来的新型工作模式是什么?未来有哪些工作不会被人工智能取代?人工智能时代重要的生存技能是什么?本书围绕这三大核心问题做了透彻的分析。作者带我们见识了置于业务流程背景之下的人工智能,阐述了其在不同职能部门中起到的推动作......一起来看看 《机器与人:埃森哲论新人工智能》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

在线进制转换器
在线进制转换器

各进制数互转换器

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具