Yarn容器调度器(Capacity Scheduler)

容器调度器配置文件capacity-scheduler.xml中的"yarn.scheduler.capacity.resource-calculator"的值可以设置为:"org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator"和
"org.apache.hadoop.yarn.util.resource.DominantResourceCalculator"。
我的问题是:什么样的情况下使用"DefaultResourceCalculator", 什么样的情况下使用"DominantResourceCalculator"?它们之间有什么样的区别,不同的配置对于Job在运行的过程中有什么样的影响?

如果我设置是"DefaultResourceCalculator",然后跑Spark任务,--executor-cores 这个设置是不是不起作用?

官网的描述:http://hadoop.apache.org/docs/ ... .html中"The ResourceCalculator implementation to be used to compare Resources in the scheduler. The default i.e. org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator only uses Memory while DominantResourceCalculator uses Dominant-resource to compare multi-dimensional resources such as Memory, CPU etc. A Java ResourceCalculator class name is expected."

要回复问题请先登录注册