内容简介:YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行
YARN是做什么的
YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。
如何管理资源
YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行 ResourceManager 进程作为master,其余每个节点上都运行一个 NodeManager 进程作为slave。
ResourceManager负责对集群中的所有资源进行统一的管理和调度。NodeManager进程负责单个节点上的资源管理,它监控一个节点上的资源使用情况(如cpu,内存,硬盘,网络等)并将其report给ResourceManager。
ResourceManager有两个主要的组件: Scheduler 和 ApplicationsManager 。
其中的Scheduler就负责为集群中运行的各个application分配所需要的资源。Scheduler只负责资源的调度,它不做任何对application监控或跟踪的工作,此外,在任务由于各种原因执行失败时,它也不负责对任务进行重启。
Scheduler根据application对资源的需求执行其资源调度功能。它将cpu、内存、硬盘、网络等资源合并成一个整体,抽象成 Container 进行资源分配。Container就是Scheduler进行资源分配的一个单位,也是运行在slave节点上的一个组件。
此外,Scheduler是一个可插拔的组件,用户可根据自己的需要设计新的Scheduler,YARN提供了多种可直接使用的调度器,比如Fair Scheduler和Capacity Scheduler等。
如何调度/监控任务
ApplicationMaster组件负责跟踪和管理一个application,它负责为application向ResourceManager中的Scheduler组件申请资源,并通过NodeManger启动和监控一个任务。
当向ResourceManager提交一个application时,必须为其指定一个ApplicationMaster组件。ResourceManager中的ApplicationsManager组件会对所有应用程序的ApplicationMaster进行管理,它首先会为ApplicationMaster组件分配资源,使其运行在一个slave节点的Container中。并负责监控ApplicationMaster的运行状态,在Container出现异常时对ApplicationMaster进行重启。
ApplicationsManager负责管理整个集群中的所有application,包括application提交、与Scheduler协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。
以上所述就是小编给大家介绍的《Apache Hadoop YARN》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- Apache Hadoop YARN
- Apache Hadoop(5)---YARN调度框架
- Apache Hadoop YARN 的架构与运行流程
- Tensorflow-on-apache-hadoop-yarn
- [译] 解密 Apache Hadoop YARN(四):Fair Scheduler Queue Basics
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
编写可读代码的艺术
Boswell, D.、Foucher, T. / 尹哲、郑秀雯 / 机械工业出版社 / 2012-7-10 / 59.00元
细节决定成败,思路清晰、言简意赅的代码让程序员一目了然;而格式凌乱、拖沓冗长的代码让程序员一头雾水。除了可以正确运行以外,优秀的代码必须具备良好的可读性,编写的代码要使其他人能在最短的时间内理解才行。本书旨在强调代码对人的友好性和可读性。 本书关注编码的细节,总结了很多提高代码可读性的小技巧,看似都微不足道,但是对于整个软件系统的开发而言,它们与宏观的架构决策、设计思想、指导原则同样重要。编......一起来看看 《编写可读代码的艺术》 这本书的介绍吧!
JS 压缩/解压工具
在线压缩/解压 JS 代码
在线进制转换器
各进制数互转换器