Apache Kylin在Convert Cuboid Data to HFile阶段Reduce数量过少

Kylin在构建Cube时,运行到Convert Cuboid Data to HFile时,会启动2000多个Map,但却只有3个Reduce,严重拖慢构建Cube的速度,请问该如何增加这个阶段的Reduce数量。
求kylin大神指教!

大饼辉

赞同来自: fish

解决了:kylin.hbase.region.count.min/kylin.hbase.region.count.max两个参数对Reduce数量有影响

fish - Hadooper

赞同来自:

是不是你的HBase相应的表只有3个Region?

fish - Hadooper

赞同来自:

HBase中,不同的Region的HFile不能串用,这就决定了,在mapreduce生成HFile的数量,与table的Region数量相同(一个HFile由一个reduce生成)。 因此,可以创建HBase table的时候,使用预分Region的方式,给table分出多个Region来,或者在table建立好,并放入些数据之后,手动将Region split几下。

要回复问题请先登录注册