Kafka

Kafka

在第二台机器上启动kafka服务器的时候报错

于宝柱 回复了问题 3 人关注 2 个回复 10494 次浏览 2018-09-26 17:48 来自相关话题

camus读取kafka信息报错

shoushantou 回复了问题 3 人关注 7 个回复 4483 次浏览 2018-09-06 09:17 来自相关话题

kafka

fish 回复了问题 2 人关注 1 个回复 1289 次浏览 2018-06-27 16:49 来自相关话题

kafka多partition消费问题

shoushantou 回复了问题 4 人关注 4 个回复 5130 次浏览 2018-05-20 10:11 来自相关话题

kafka写到hdfs数据,数据格式的问题

shoushantou 回复了问题 3 人关注 2 个回复 3194 次浏览 2018-05-20 01:01 来自相关话题

flume向kafkaSink发送消息,kafkaSink接收不到

依风逗春 回复了问题 4 人关注 3 个回复 12652 次浏览 2018-04-02 15:50 来自相关话题

flume+kafka整合时,flume启动报错

fish 回复了问题 2 人关注 1 个回复 1743 次浏览 2018-03-30 10:51 来自相关话题

Kafka streams有C++实现吗?

回复

麻利小超人 发起了问题 1 人关注 0 个回复 1286 次浏览 2018-03-13 09:58 来自相关话题

请问kafka大家用的时候可不可以不从bengining去取数据

史晓江 回复了问题 4 人关注 5 个回复 1413 次浏览 2018-03-12 18:05 来自相关话题

Kafka权威的文档或书籍

回复

麻利小超人 发起了问题 1 人关注 0 个回复 1557 次浏览 2018-03-12 08:49 来自相关话题

kafka不保证整体有序的问题

fish 回复了问题 2 人关注 1 个回复 1587 次浏览 2018-03-09 14:44 来自相关话题

flume kafkaSource 的问题

九天 回复了问题 4 人关注 4 个回复 6271 次浏览 2018-03-01 14:22 来自相关话题

Kafka API

fish 回复了问题 2 人关注 1 个回复 1286 次浏览 2018-02-26 16:21 来自相关话题

启动kafka的时候报错

回复

伤心太平洋 回复了问题 1 人关注 1 个回复 1336 次浏览 2018-02-21 21:46 来自相关话题

kafka用完以后咋关掉啊?

伤心太平洋 回复了问题 2 人关注 1 个回复 1084 次浏览 2018-02-21 21:39 来自相关话题

kafka有好书吗?

银河系管理员 回复了问题 2 人关注 1 个回复 1194 次浏览 2018-02-09 10:38 来自相关话题

kafka接收很多消息,怎么写到hdfs里比较好呢 ?

回复

封尘 发起了问题 1 人关注 0 个回复 1429 次浏览 2018-02-09 10:37 来自相关话题

kafka中topic中的详细信息能否用图来画下,具体属于哪个区块

JetChen 回复了问题 2 人关注 4 个回复 1521 次浏览 2018-01-12 11:03 来自相关话题

kafka+sparkstreaming开发问题

回复

烟花易冷 发起了问题 1 人关注 0 个回复 1617 次浏览 2017-11-09 10:32 来自相关话题

条新动态, 点击查看
两种方式: 1. java -cp target/kafka_hdfs-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/etc/hadoop/conf cn.chinahadoop.kafka.hadoop_consumer... 显示全部 »
两种方式: 1. java -cp target/kafka_hdfs-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/etc/hadoop/conf cn.chinahadoop.kafka.hadoop_consumer.TestHadoopConsumer 2. java -cp target/kafka_hdfs-0.0.1-SNAPSHOT.jar:`/mnt/xkhadoop/hadoop-2.6.0-cdh5.4.0/bin/hadoop classpath` cn.chinahadoop.kafka.hadoop_consumer.TestHadoopConsumer    

在第二台机器上启动kafka服务器的时候报错

回复

于宝柱 回复了问题 3 人关注 2 个回复 10494 次浏览 2018-09-26 17:48 来自相关话题

camus读取kafka信息报错

回复

shoushantou 回复了问题 3 人关注 7 个回复 4483 次浏览 2018-09-06 09:17 来自相关话题

kafka

回复

fish 回复了问题 2 人关注 1 个回复 1289 次浏览 2018-06-27 16:49 来自相关话题

kafka多partition消费问题

回复

shoushantou 回复了问题 4 人关注 4 个回复 5130 次浏览 2018-05-20 10:11 来自相关话题

kafka写到hdfs数据,数据格式的问题

回复

shoushantou 回复了问题 3 人关注 2 个回复 3194 次浏览 2018-05-20 01:01 来自相关话题

flume向kafkaSink发送消息,kafkaSink接收不到

回复

依风逗春 回复了问题 4 人关注 3 个回复 12652 次浏览 2018-04-02 15:50 来自相关话题

flume+kafka整合时,flume启动报错

回复

fish 回复了问题 2 人关注 1 个回复 1743 次浏览 2018-03-30 10:51 来自相关话题

Kafka streams有C++实现吗?

回复

麻利小超人 发起了问题 1 人关注 0 个回复 1286 次浏览 2018-03-13 09:58 来自相关话题

请问kafka大家用的时候可不可以不从bengining去取数据

回复

史晓江 回复了问题 4 人关注 5 个回复 1413 次浏览 2018-03-12 18:05 来自相关话题

Kafka权威的文档或书籍

回复

麻利小超人 发起了问题 1 人关注 0 个回复 1557 次浏览 2018-03-12 08:49 来自相关话题

kafka不保证整体有序的问题

回复

fish 回复了问题 2 人关注 1 个回复 1587 次浏览 2018-03-09 14:44 来自相关话题

flume kafkaSource 的问题

回复

九天 回复了问题 4 人关注 4 个回复 6271 次浏览 2018-03-01 14:22 来自相关话题

Kafka API

回复

fish 回复了问题 2 人关注 1 个回复 1286 次浏览 2018-02-26 16:21 来自相关话题

启动kafka的时候报错

回复

伤心太平洋 回复了问题 1 人关注 1 个回复 1336 次浏览 2018-02-21 21:46 来自相关话题

kafka用完以后咋关掉啊?

回复

伤心太平洋 回复了问题 2 人关注 1 个回复 1084 次浏览 2018-02-21 21:39 来自相关话题

kafka有好书吗?

回复

银河系管理员 回复了问题 2 人关注 1 个回复 1194 次浏览 2018-02-09 10:38 来自相关话题

kafka接收很多消息,怎么写到hdfs里比较好呢 ?

回复

封尘 发起了问题 1 人关注 0 个回复 1429 次浏览 2018-02-09 10:37 来自相关话题

kafka中topic中的详细信息能否用图来画下,具体属于哪个区块

回复

JetChen 回复了问题 2 人关注 4 个回复 1521 次浏览 2018-01-12 11:03 来自相关话题

kafka+sparkstreaming开发问题

回复

烟花易冷 发起了问题 1 人关注 0 个回复 1617 次浏览 2017-11-09 10:32 来自相关话题

flume+kafka+storm+mysql 数据流

唐半张 发表了文章 0 个评论 3600 次浏览 2015-10-06 10:04 来自相关话题

天终于将 flume + kafka + storm + mysql 这条数据流走通了,虽然只是一个简单的测试例子,但是依据这条数据流可以做的事情很多。 ...查看全部
天终于将 flume + kafka + storm + mysql 这条数据流走通了,虽然只是一个简单的测试例子,但是依据这条数据流可以做的事情很多。
先简单看一下这几个工具的架构吧,架构图会更好说明:
flume的架构图:


kafka的架构图:



storm的架构图:


我们使用的  flume + kafka + storm +mysql的数据流架构图:

下面介绍一下kafka到storm的配置:
其实这些都是通过java代码实现的,这里用到了 KafkaSpout类,RDBMSDumperBolt类(以后这些可以作为工具类打包上传到集群中)
storm作业中,我们写了一个KafkaStormRdbms类,作业具体配置如下:
首先设置连接mysql的参数:
[java] view plaincopyprint?
  • ArrayList columnNames = new ArrayList();  
  • ArrayList columnTypes = new ArrayList();  
  • String tableName = "stormTestTable_01";  
  • // Note: if the rdbms table need not to have a primary key, set the variable 'primaryKey' to 'N/A'  
  • // else set its value to the name of the tuple field which is to be treated as primary key  
  • String primaryKey = "N/A";  
  • String rdbmsUrl = "jdbc:mysql://$hostname:3306/fuqingwuDB" ;  
  • String rdbmsUserName = "fuqingwu";  
  • String rdbmsPassword = "password";  
  •   
  • //add the column names and the respective types in the two arraylists  
  • columnNames.add("word");  
  •   
  • //add the types  
  • columnTypes.add("varchar (100)");  
配置 KafkaSpout 及 Topology:[java] view plaincopyprint?
  • TopologyBuilder builder = new TopologyBuilder();  
  •          
  •         List hosts = new ArrayList();  
  •         hosts.add("hadoop01");  
  •         SpoutConfig spoutConf = SpoutConfig.fromHostStrings(hosts, 1, "flume_kafka", "/root", "id");  
  •         spoutConf.scheme = new StringScheme();  
  •         spoutConf.forceStartOffsetTime(-2);  
  •          
  •         spoutConf.zkServers = new ArrayList() {{  
  •                       add("hadoop01");   
  •                     }};  
  •         spoutConf.zkPort = 2181;  
  •          
  •         //set the spout for the topology  
  •         builder.setSpout("spout",  new KafkaSpout(spoutConf), 1);  
  •   
  •         //dump the stream data into rdbms table      
  •         RDBMSDumperBolt dumperBolt = new RDBMSDumperBolt(primaryKey, tableName, columnNames, columnTypes, rdbmsUrl, rdbmsUserName, rdbmsPassword);  
  •         builder.setBolt("dumperBolt",dumperBolt, 1).shuffleGrouping("spout");