【急】spark standalone submit任务后一直等待,initial job has not accepted any resources

由于集群(1 Master,2Slaves)的资源非常可怜,每个节点系统可用的内存700+M,所以设置了几个参数:
export SPARK_WORKER_MEMORY=512M
export SPARK_DAEMON_MEMORY=256M

提交任务时,一直等待,系统报如下异常:

16/02/04 11:11:57 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
16/02/04 11:12:12 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

fish - Hadooper

赞同来自: towerliu

SPARK_WORKER_MEMORY一共才512M,这些--executor-memory、--driver-memory你是否能先指定得更小些(比如50M、100M)? 尤其是--driver-memory,应该用不着512M这么大。   指定小的值,先跑个简单现成的wordcount,简单任务跑通了,再试你自己的。

towerliu

赞同来自: jacksu

最后更新一下,免得有同样问题的同学困惑:原来在spark-env.sh里设置了 SPARK_MEM 这个参数,现在spark不推荐了,大家不要盲从网上的资料;参考官网上的配置说明就OK了, --driver-memory 512M --executor-memory 512M

yanglei

赞同来自:

出现这类问题一般有几个可能的原因,逐一检查排除即可:   1.因为提交任务的节点不能和worker节点交互,因为提交完任务后提交任务节点上会起一个进程,展示任务进度,大多端口为4044,工作节点需要反馈进度给该该端口,所以如果主机名或者IP在hosts中配置不正确。所以检查下主机名和ip是否配置正确。 2.也有可能是内存不足造成的。内存设置可以根据情况调整下。另外,也检查下web UI看看,确保worker节点处于alive状态。  

fish - Hadooper

赞同来自:

spark-submit时,spark.executor.memory、spark.driver.memory这些都配的是什么? 更多任务配置可以参考:http://spark.apache.org/docs/latest/configuration.html​

fish - Hadooper

赞同来自:

spark.driver.memory没指定啊?

sxjiang

赞同来自:

观察spark webUI中,

要回复问题请先登录注册