内容简介:YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行
YARN是做什么的
YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。
如何管理资源
YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行 ResourceManager 进程作为master,其余每个节点上都运行一个 NodeManager 进程作为slave。
ResourceManager负责对集群中的所有资源进行统一的管理和调度。NodeManager进程负责单个节点上的资源管理,它监控一个节点上的资源使用情况(如cpu,内存,硬盘,网络等)并将其report给ResourceManager。
ResourceManager有两个主要的组件: Scheduler 和 ApplicationsManager 。
其中的Scheduler就负责为集群中运行的各个application分配所需要的资源。Scheduler只负责资源的调度,它不做任何对application监控或跟踪的工作,此外,在任务由于各种原因执行失败时,它也不负责对任务进行重启。
Scheduler根据application对资源的需求执行其资源调度功能。它将cpu、内存、硬盘、网络等资源合并成一个整体,抽象成 Container 进行资源分配。Container就是Scheduler进行资源分配的一个单位,也是运行在slave节点上的一个组件。
此外,Scheduler是一个可插拔的组件,用户可根据自己的需要设计新的Scheduler,YARN提供了多种可直接使用的调度器,比如Fair Scheduler和Capacity Scheduler等。
如何调度/监控任务
ApplicationMaster组件负责跟踪和管理一个application,它负责为application向ResourceManager中的Scheduler组件申请资源,并通过NodeManger启动和监控一个任务。
当向ResourceManager提交一个application时,必须为其指定一个ApplicationMaster组件。ResourceManager中的ApplicationsManager组件会对所有应用程序的ApplicationMaster进行管理,它首先会为ApplicationMaster组件分配资源,使其运行在一个slave节点的Container中。并负责监控ApplicationMaster的运行状态,在Container出现异常时对ApplicationMaster进行重启。
ApplicationsManager负责管理整个集群中的所有application,包括application提交、与Scheduler协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。
以上所述就是小编给大家介绍的《Apache Hadoop YARN》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- Apache Hadoop YARN
- Apache Hadoop(5)---YARN调度框架
- Apache Hadoop YARN 的架构与运行流程
- Tensorflow-on-apache-hadoop-yarn
- [译] 解密 Apache Hadoop YARN(四):Fair Scheduler Queue Basics
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。