HDFS的NameNode和YARN的ResourceManager之间的关系

在所有的HDFS和YARN的框架介绍中,没有具体介绍这两个框架的整合使用。也没有一张图来表明两个框架之间的分工合作。
对于HDFS的NameNode和YARN的ResourceManager之间的关系也很模糊。在集群搭建的时候,01节点启动的是HDFS,02启动的是YARN,这两者之间的关系和协同工作,最好能画一张图来描述下

fish - Hadooper

赞同来自:

Hadoop提供的服务,主要是两个 ,分布式存储,以及分布式计算。 分布式就是由多台机器协同来完成的任务。   Hadoop的分布式系统,都采用Master-Slave的主从模式,在这样的模式下,分布式存储系统(HDFS)的主节点,是NameNode。分布式资源管理系统(Yarn)的主节点,是ResourceManager。   可以把Hadoop想象成单机操作系统扩展到一个集群的情况,其中的NameNode就是文件系统的中央管理枢纽,ResourceManager就相当于单机中负责管理机器中的内存、cpu的那个操作系统的调度系统。   一个很粗的框图:
image.png
 

macg - 80后IT男

赞同来自:

其实这两个东西没什么分工协作的. hdfs可以理解为像个文件系统,yarn可以理解为像个shell. 从设计的初衷上,二者就没什么分工协作, 说得更专业点,叫"耦合度低". 假设我们写一个MRv2(yarn)的简单程序,如果输入输出都不是hdfs路径,而是本地硬盘路径(local)的话,那这个程序跟hdfs可能就完全没有关系了.

要回复问题请先登录注册