各位大神 这段话翻译是什么意思,container被抢是,这个任务可以在其他executor更好的执行,然后把资源让出来?

// Preemption is not the fault of the running tasks, since YARN preempts containers
            // merely to do resource sharing, and tasks that fail due to preempted executors could
            // just as easily finish on any other executor. See SPARK-8167.
            (false, s"Container ${containerId}${onHostStr} was preempted.")

fish - Hadooper

赞同来自:

Preemption并不是执行任务失败了,因为YARN的 preempts container仅仅是做了一次资源共享的操作。那些因为preempt而失败的任务在别的执行器上已经被成功完成了。   这里其实就是解释以下preempt的特性。当集群有空余资源的时候,会启动多个executor冗余执行相同的任务,当某个最快的任务完成的时候,其它任务就会被停止掉,这些被停止的task其实不是fault。

要回复问题请先登录注册