MapReduce

mapreduce执行进度，从80%退回到0又开始执行，为什么？？

已邀请:

2 个回复

fish - Hadooper

赞同来自: Poodah

默认情况下mapreduce.job.reduce.slowstart.completedmaps配置为0.05，当有百分之5的map完成时，reduce task就会开始启动。此时reduce方法并不会开始执行（它肯定要等所有map都完成之后才会执行），便开始从map端拖取数据。

在mapreduce的实现中，将reduce拖取完成的进度，定为总进度的33%，所以你可能会看到33%很快达到（数据拖完了），但接下来十分缓慢（开始做reduce方法计算）。

fish - Hadooper

在执行过程中，某些节点出现意外或者task失败，出现重跑现象。

要回复问题请先登录或注册

mapreduce执行进度，从80%退回到0又开始执行，为什么？？

2 个回复

发起人

问题状态

mapreduce执行进度，从80%退回到0又开始执行，为什么？？

与内容相关的链接

2 个回复

发起人

问题状态