Flume og agent source和sink数据源格式

Flume自带了很多直接可用的数据源(source),如:
·                text(“filename”):将文件filename作为数据源,按行发送
·                tail(“filename”):探测filename新产生的数据,按行发送出去
·                fsyslogTcp(5140):监听TCP的5140端口,并且接收到的数据发送出去
·                tailDir("dirname"[,fileregex=".*"[, startFromEnd=false[, recurseDepth=0]]]):监听目录中的文件末尾,使用正则去选定需要监听的文件(不包含目录),recurseDepth为递归监听其下子目录的深度
同时提供了很多sink,如:
·                console[("format")]:直接将将数据显示在consolr上
·                text(“txtfile”):将数据写到文件txtfile中
·                dfs(“dfsfile”):将数据写到HDFS上的dfsfile文件中
·                syslogTcp(“host”,port):将数据通过TCP传递给host节点
·                agentSink[("machine"[,port])]:等价于agentE2ESink,如果省略,machine参数,默认使用flume.collector.event.host与flume.collector.event.port作为默认collecotr
·                agentDFOSink[("machine"[,port])]:本地热备agent,agent发现collector节点故障后,不断检查collector的存活状态以便重新发送event,在此间产生的数据将缓存到本地磁盘中
·                agentBESink[("machine"[,port])]:不负责的agent,如果collector故障,将不做任何处理,它发送的数据也将被直接丢弃
·                agentE2EChain:指定多个collector提高可用性。 当向主collector发送event失效后,转向第二个collector发送,当所有的collector失败后,它会非常执着的再来一遍

0 个评论

要回复文章请先登录注册