mapreduce 设置的reduce个数过多job.setNumReduceTasks(numReduceTasks);会出现空文件,为什么?

QQ截图20170302141856.png

fish - Hadooper

赞同来自: wangxiaolei

有些partition中分不到数据,所以文件是空的。   一个简单的例子,如果key是1 3 5,partition为2,就会出现所有数据在1号partiton中,0号partition没数据。

wangxiaolei

赞同来自:

partitionner的代码逻辑是什么

Poodah

赞同来自:

雷哥,partitionner逻辑如图,reduce的数量设置300时四个文件有一个空的,设置150时两个文件有一个,不知道他们的关系是什么?

要回复问题请先登录注册