eclipse远程提交MR任务到Linux端出错

eclipse非插件远程提交到Linux集群报错
Exception message: /bin/bash: line 0: fg: no job control

Stack trace: ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control

at org.apache.hadoop.util.Shell.runCommand(Shell.java:543)
at org.apache.hadoop.util.Shell.run(Shell.java:460)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:720)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:210)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)


Container exited with a non-zero exit code 1
Failing this attempt. Failing the application.
2016-04-07 11:03:34,122 INFO Job : Counters: 0
已邀请:

wangxiaolei

赞同来自: loujun

看错误看不出来。
执行的什么程序,eclipse是怎么设置的输入和输出路径?
 

wangxiaolei

赞同来自: loujun

mapred-site.xml和yarn-site.xml配置文件内容是什么

wangxiaolei

赞同来自: loujun

mapred-site.xml中配置的SnappyCodec,本机环境上有装Snappy的环境吗,没有就去掉下面的配置[code=Xml]
mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.SnappyCodec
[/code]
yar-site.xml中配置的yarn.application.classpath的值,如果找不到$HADOOP_COMMON_HOME等[code=Xml]$HADOOP_CLIENT_CONF_DIR,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*[/code]
这些变量名是cdh版本定义的,你的是cdh版本的吗?
可以就换成执行hadoop classpath命令后显示的值。
 

fish - Hadooper

赞同来自: loujun

你这报了java.lang.ClassNotFoundException: org.htrace.Trace。
如果是yum方式安装的cdh,包含这个类的包应该在/usr/lib/hadoop/lib/htrace-core-x.x.x.jar中(这里的x.x.x是版本号)你到目录中看看环境里有这个包么?

fish - Hadooper

赞同来自: loujun

这个端口号是namenode的RPC端口。
应该就要跟fs.default.name(新版本中用fs.defaultFS更合适)中配置的端口号一致。
除非,你用的是namenodeHA,fs.defaultFS中只需要配namespace名字,每个namespace对应两个namenode,两个不同namenode的ip跟端口,在dfs.namenode.rpc-address..中配置。

要回复问题请先登录注册