kafka分区并行消费

请问想并行消费即多线程同时消费kafka一个partition中的数据,有什么思路吗

fish - Hadooper

赞同来自:

这个需求除了多线程消费一个Partition消息之外,还有其他限制条件么?比如这些消费线程除了消费这个Partition的消息,不要消费其它Partition的消息? 如果没有其他限制条件,将所有Consumer加到一个Consumer Group中是不是就可以了?

Rayallen

赞同来自:

具体的需求就是spark streaming的并行度又kafka的分区数决定,而spark的repartition代价比较大,想在接入kafka的时候就提高并发度,所以想要一个partition由两个线程进行消费,这就需要动态的维护offset,不知道老师能指点一下不,谢谢

fish - Hadooper

赞同来自:

两个Consumer指定到一个Consumer Group中是否可以?

要回复问题请先登录注册