eclipse远程提交MR任务到Linux端出错

eclipse非插件远程提交到Linux集群报错
Exception message: /bin/bash: line 0: fg: no job control

Stack trace: ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control

at org.apache.hadoop.util.Shell.runCommand(Shell.java:543)
at org.apache.hadoop.util.Shell.run(Shell.java:460)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:720)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:210)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)


Container exited with a non-zero exit code 1
Failing this attempt. Failing the application.
2016-04-07 11:03:34,122 INFO Job : Counters: 0

wangxiaolei

赞同来自: loujun

看错误看不出来。 执行的什么程序,eclipse是怎么设置的输入和输出路径?  

wangxiaolei

赞同来自: loujun

mapred-site.xml和yarn-site.xml配置文件内容是什么

wangxiaolei

赞同来自: loujun

mapred-site.xml中配置的SnappyCodec,本机环境上有装Snappy的环境吗,没有就去掉下面的配置
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
yar-site.xml中配置的yarn.application.classpath的值,如果找不到$HADOOP_COMMON_HOME等
<value>$HADOOP_CLIENT_CONF_DIR,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
这些变量名是cdh版本定义的,你的是cdh版本的吗? 可以就换成执行hadoop classpath命令后显示的值。  

fish - Hadooper

赞同来自: loujun

你这报了java.lang.ClassNotFoundException: org.htrace.Trace。 如果是yum方式安装的cdh,包含这个类的包应该在/usr/lib/hadoop/lib/htrace-core-x.x.x.jar中(这里的x.x.x是版本号)你到目录中看看环境里有这个包么?

fish - Hadooper

赞同来自: loujun

这个端口号是namenode的RPC端口。 应该就要跟fs.default.name(新版本中用fs.defaultFS更合适)中配置的端口号一致。 除非,你用的是namenodeHA,fs.defaultFS中只需要配namespace名字,每个namespace对应两个namenode,两个不同namenode的ip跟端口,在dfs.namenode.rpc-address.<namespacename>.<namenodeName>中配置。

要回复问题请先登录注册