Flume NG source和sink实现

Source实现:
Avro source,监听avro端口并从外部avro客户端流接受events;
Thrift source,监听thrift端口并从外部thrift客户端流接收events;
Exec source,在启动时运行一个Unix命令,在标准输出上持续产生数据;
JMS source,从一个Java消息服务(JMS)终端上读取信息;
Spooling directory source,监听指定目录,当有新文件产生时,将新文件转化成events;
Twitter 1% firehose source,这个source还处于试验阶段;
Netcat source,类似于netcat,监听指定网络端口,将text文档的每一行转化成events;
Sequence generator source,一个简单的序列生成器,用一个计数器按+1递增连续events;
Syslog source,读取系统日志数据生成events;  
HTTP source,通过HTTP协议接收events;
Legacey source,这个source允许接受Flume0.9.4agents生成的events
Custom source,用于实现自定义source的接口;
Scribe source,另一种注入系统;
 
Sink 实现:
  HDFS sink,将events写入HDFS;
  Logger sink,INFO层的日志event,常用语测试目的;
  Avro sink,Flume将events转化成Avro events然后发送Avro sink;
   Thriftsink,Flume将events转化成Thrift events然后发送Thrift sink;
  IRC sink,将数据发送到配置好的IRC终端;
   Fileroll sink,将events存储在本地文件系统;
   Nullsink ,丢弃所有events;
  Hbase sinks,将数据写入HBase,分HBaseSink和AsyncHBaseSink两种;
  MorphineSolrSink,将数据从events抽取出来,转化后,几乎实时的存储在Apache Solr服务器,用于检索或搜索服务;
  ElasticSearchSink,将数据写入elasticsearch 集群中;
   Custom Sink,用于实现自定义sink的接口。

0 个评论

要回复文章请先登录注册