mapreduce执行进度,从80%退回到0又开始执行,为什么??

fish - Hadooper

赞同来自: Poodah

默认情况下mapreduce.job.reduce.slowstart.completedmaps配置为0.05,当有百分之5的map完成时,reduce task就会开始启动。此时reduce方法并不会开始执行(它肯定要等所有map都完成之后才会执行),便开始从map端拖取数据。   在mapreduce的实现中,将reduce拖取完成的进度,定为总进度的33%,所以你可能会看到33%很快达到(数据拖完了),但接下来十分缓慢(开始做reduce方法计算)。

fish - Hadooper

赞同来自:

在执行过程中,某些节点出现意外或者task失败,出现重跑现象。

要回复问题请先登录注册