yarn看到任务执行时间和spark ui看到任务执行时间不一致

yarn ui 看到的任务执行时间大约为 13 mins
2.png

 spark ui 看到的任务执行时间 大约为 8 mins
1.png

 

fish - Hadooper

赞同来自:

Yarn中除了Spark本身耗费的时间,还包含container申请资源,jar包同步等spark“看不见”的操作。

要回复问题请先登录注册