flume kafkaSource 的问题

我的flume使用的是
kafka-kafkachannel-hdfs
使用flume连接kafka的数据,也就是kafkaSource 的时候,隔一段时间会出现  Attempt to heart beat
 failed since the group is rebalancing, try to re-join group 这种情况。这个问题会造成数据重复读取,有人碰到过么,怎么解决的?
麻烦帮帮忙?
flume_kafkaSource.jpg

 

fish - Hadooper

赞同来自:

使用的时候是0.9的Kafka?以及用的是auto commit?   这个各问题可能跟这个bug有关系,用最新的Kafka试试:https://issues.apache.org/jira/browse/KAFKA-2978 。   flume消费kafka消息的时候,是用的单个consumer还是多个?

kaiball9999 - Focus on bigdata

赞同来自:

用的是0.9 的kafka ,不是auto commit ,(flume1.7 默认  auto commit为false) 是直接连kafka的broke的

fish - Hadooper

赞同来自:

简化下问题,如果用单个consumer消费Kafka消息,还会出现这个问题么?

九天

赞同来自:

  • 你好,请问这个问题解决了么?我也遇到kafkasource因为offset没有及时提交而导致数据重复的问题了

要回复问题请先登录注册