kafka consumer启动后消息发不过去

在主机zhumac1上已经启动了kafka consumer,控制台显示如下:

16/11/23 11:41:45 INFO consumer.ConsumerFetcherThread: [ConsumerFetcherThread-sogouGroup_zhumac1-1479872496048-1d461882-0-1], Starting
16/11/23 11:41:45 INFO consumer.ConsumerFetcherThread: [ConsumerFetcherThread-sogouGroup_zhumac1-1479872496048-1d461882-0-3], Starting
16/11/23 11:41:45 INFO consumer.ConsumerFetcherThread: [ConsumerFetcherThread-sogouGroup_zhumac1-1479872496048-1d461882-0-2], Starting
16/11/23 11:41:45 INFO consumer.ConsumerFetcherManager: [ConsumerFetcherManager-1479872496851] Added fetcher for partitions ArrayBuffer([[sogouTopic,1], initOffset -1 to broker id:2,host:zhumac2,port:9092] , [[sogouTopic,2], initOffset -1 to broker id:3,host:zhumac3,port:9092] , [[sogouTopic,0], initOffset -1 to broker id:1,host:zhumac1,port:9092] )

我回头再次执行./start-agent.sh , 还是报和昨天一样的错误:
2016-11-23 11:44:10,449 (pool-3-thread-1) [WARN - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:239)] The channel is full, and cannot write data now. The source will try again after 4000 milliseconds

实在不知道怎么回事,请帮忙看看吧。我把KAFKA的服务启动起来了。

wangxiaolei

赞同来自: zhudejun_1985 fish

1、spool.conf配置文件中有一处粗心造成的严重错误,这是不容易被发现的单词少些一个s
1479910324900.png
我在机器上启动了三台kafka服务,所以这里brokerList配置成了三个。 2、在sogoukafka/src/main/java/cn/chinahadoop/kafka/consumer/SubTaskConsumer.java代码中有两处地方的代码是不能省的,必须写上,你都没有写。 第一处:
1479910581012.png
第二处:
1479910644682.png
代码都已经修改好,并且重新执行mvn clean package命令打成jar包,启动脚本也已经写好,直接运行即可。在kafka-to-hdfs目录下test_consumer.sh 并且我正确运行后,数据已经传入hdfs,如图:
1479911069803.png
 

fish - Hadooper

赞同来自:

你的Flume配置中,将Channel配置成什么了?

zhudejun_1985 - 天下大事,必作于细

赞同来自:

这个都已经做的差不多了,就卡在这一点上,想给跑通啊,帮忙看看吧,直接上机器看看吧,拜托啦,雷雷

wangxiaolei

赞同来自:

kafka服务都在那台机器上启动

fish - Hadooper

赞同来自:

是否能稍微完整的描述下你的环境: 1. 服务都分别在什么机器上启动的? 2. 启动服务 ,以及启动应用,都分别到什么目录下面执行的什么命令?

要回复问题请先登录注册