kafka integrate with druid

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; line-height: 19.0px; font: 13.0px 'Helvetica Neue'}
kafka数据进druid的可行方式能否总结一下,优缺点各是什么?特别是同属于pull模式的kafka indexing service和kafka firehose

elloooooo

赞同来自: fish

这个问题我上节课应该讲了挺多的吧。 Kafka Firehose是基于Standalone realtime node方式的,任务失败无法恢复;多task的情况下,无法使用多副本提升可用性;迟到数据必须丢弃;   Kafka-indexing-service 任务失败有恢复机制;可以保证迟到数据也不丢弃;相对而言缺点就是数据消费过程依赖Overlord服务,Overlord性能瓶颈将成为集群任务数量的瓶颈。

要回复问题请先登录注册