mapreduce输出文件大小

您好,
我的mr程序输出了40个文件,每个大小都有200M,我设置的hdfs block size是128M
然后我通过fsck命令看了block存储,发现mr的输出并没有按照blocksize被分成两片,想知道原因?

fish - Hadooper

赞同来自:

因为你的mr有40个reduce吧?  hadoop上的mapreduce, 每个reduce必须是独立的输出文件。

Nathan_Sun

赞同来自:

但是当我再次减少reduce数量,输出的单个文件变大时,就会被分片成数个block,我想知道为什么第一次文件也大于128M却没有被分片,这其中的机制,hdfs什么情况才会将文件分片?

fish - Hadooper

赞同来自:

单个文件大于单block的尺寸就会被分片,只要确认配置没问题就是如此。

要回复问题请先登录注册