mr任务running container数的问题

参数设置如下:
yarn.scheduler.minimum-allocation-mb 1024
yarn.scheduler.minimum-allocation-vcores 1
mapreduce.map.memory.mb 4096
mapreduce.map.cpu.vcores 2

集群总资源 内存270G,cpu 120 vcores

为什么提交任务后,running container总是30个,而不是60呢?请问是有其他什么参数的设置限制了container的个数吗?

fish - Hadooper

赞同来自:

yarn.nodemanager.resource.memory-mb配置的是什么?在ResourceManager的web页面上显示的资源状况是怎样的?

fish - Hadooper

赞同来自:

scheduler中的配置也没有限制当前queue的资源量?

fish - Hadooper

赞同来自:

map总数量大于60吧?还有一部分task处于pending状态?   看看resourcemanager中有没有什么无剩余资源可分配的log之类的。

fish - Hadooper

赞同来自:

yarn.scheduler.increment-allocation-mb,你这个配的值是多少?

fish - Hadooper

赞同来自:

从resourcemanager页面找到你正在执行的任务,通过页面中的configuration确认任务所使用的这些配置是否真是你所预期的这样(避免提交任务时某些没有预料到的情况导致某个配置跟预期不同)。

要回复问题请先登录注册