执行MapReduce后一直挂起

执行MapReduce后一直挂起,
根据其他同学的帮助配置修改如下,在mapred-site.xml中配置如下
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>yarn.app.mapreduce.am.resource.mb</name>
                <value>200</value>
        </property>
</configuration>
在yarn_site.xml中配置如下:
<property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>1024</value>
</property>
01.png


02.png

 

fish - Hadooper

赞同来自:

集群的nodemanager根本没启动成功啊。

zhongyu

赞同来自:

老师一针见血,我是通过start_dfs.sh、start_yarn.sh启动的,在启动的过程中通过jps排查过当时有nodemanager的进程,不知后面怎么死掉了,后面NN、DN、resourcemanager、nodemanager逐一启动,运行成功了,谢谢。 对了nodemanager的错误中报java.lang.RuntimeException: No class defined for mapreduce_shuflle,我同学给我加的配置取消后逐一启动就可以了。

defineconst

赞同来自:

您好,使用的CDH6.1.1部署的Hadoop环境,集群中使用jps没有相关进程,也找不见mapred-site.xml、yarn_site.xml配置文件,管理界面上似乎没有这几个配置选项,那应该怎么配置了?谢谢!

要回复问题请先登录注册