你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
问题
笔记
话题
登录
Yarn
Yarn Container 怎么划分CPU资源
我们知道Yarn 管理每个node节点的资源,CPU还有内存,将来还有网络带宽等。
我的问题是内存如果10G,划分为5个2G 的container,那CPU的计算资源如何来划分呢? 按照占用时间来划分么?
与内容相关的链接
提交
1 个回复
fish
-
Hadooper
赞同来自:
Yarn中将cpu抽象为vcore(文档建议将vcore配置成机器本事实际的core数量,其实根据机器负载也可以往高了配),可以在资源配置中,指定每个node提供的vcore有多少。当应用提交资源申请时,除了指定自己需要申请多少memory,还可以加上需要申请多少vcore。 调度器使用DominantResourceCalculator进行资源计算的时候,具备同时考虑多种资源诉求的情况,此时即可根据memory以及cpu的需求来为应用分配资源。 具体的描述,可以参看:
http://zh.hortonworks.com/blog/managing-cpu-resources-in-your-hadoop-yarn-clusters/
。
要回复问题请先
登录
或
注册
发起人
zhanghh321
相关问题
Hadoop HA+yarn集群配置好后,跑pi or wrodcount卡住
跑hadoop任务报错:16/01/11 10:35:50 INFO mapreduce.Job: map 0% reduce 0% 16/01/11 10:35:50 INFO mapreduce.Job: Job job_1450758981392_0015 failed with state FAILED due to: Application application_1450758981392_0015 failed 2 times due to AM Container for appatte
Hadoop安装问题以及yarn的启动问题
HDFS HA+YARN 执行命令 bin/hdfs haadmin -transitionToActive nn1 时出错
包含时间序列的数据怎么划分训练集和测试集,以及如何进行C_V
yarn-site.xml中配置的log server有什么用?
Apache Kylin的聚合组设置,以及mapreduce使用资源问题??
数据集的划分
单机部署测试环境,hadoop2.7.3,yarn启动后Active Nodes数始终为0
CDH5启动yarn失败,无报错,没有配fairscheduler
谁能指导一下Docker on Yarn的具体实现方法?最好有实践案列
问题状态
最新活动:
2016-10-14 23:50
浏览:
3609
关注:
2
人
1 个回复
fish - Hadooper
赞同来自: