Hadoop yarn基于deadline的调度器如何获取用户输入的deadline

目前想写一个基于时间限的调度器,希望实现在YARN调度器中获取到用户在提交作业时设定的时间限参数,参看了网上的博客(http://dongxicheng.org/mapredu ... lers/),但这是基于之前Hadoop版本的,在新的YARN版本中不知道该如何处理。特寻求帮助,谢谢。
 
    我在想是不是用户在提交作业时设定的时间限参数可以在AM端获取,然后通过RPC协议传送给Scheduler。因为我对于Hadoop源码不够熟悉,所以对这个很困惑

fish - Hadooper

赞同来自:

用户提交时的参数只要封装到提交端的configuration对象中就可以。任务提交后配置会被序列化到hdfs上,调度器或者task都可以反序列化出Configuration之后拿到用户配置的值。

Dong - Hulu

赞同来自:

你说的deadline是每个应用设置,不能走ocnfiguraration这周思路,只能通过修改RPC实现

要回复问题请先登录注册