Flume sink到Kafka的类型选择

老师好,上网查资料后,目前在配置flume的时候,在sink阶段有问题:
第一种选择了自带的一种:
a1.sinks.s1.type = org.apache.flume.sink.kafka.KafkaSink

第二种选择了另外的插件:
a1.sinks.s1.type = org.apache.flume.plugins.KafkaSink

请问有何推荐?第二种的插件好像需要额外的flumeng-kafka-plugin.jar,咱们的小象软件库里有吗?

wangxiaolei

赞同来自:

KafkaSink代码需要自己实现,在bootcamp项目中有示例。你看下flume-tutorial

zhudejun_1985 - 天下大事,必作于细

赞同来自:

这个功能模块不还是放在flume中的吗?但现在在配置文件里我需要做出一个选择啊。 a1.sinks.s1.type = org.apache.flume.sink.kafka.KafkaSink 如果我是这样的配置,就需要去修改对应的KafkaSink代码,是这个意思吗?

zhudejun_1985 - 天下大事,必作于细

赞同来自:

/opt/cloudera/parcels/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/../lib/hadoop/lib/commons-colleagent.sources = avroSrc 雷雷,这个等号前面的名字很疑惑,为什么不直接用agent?文件中所有其他的配置都是用的agent,这里有什么特别的?

要回复问题请先登录注册