Apache Flume - HDFSSink

        HDFSSink用来将数据写入Hadoop分布式文件系统(HDFS)中。支持创建text和sequence文件。支持这2种文件类型的压缩。支持文件周期性滚动(就是关闭当前文件在建立一个新的),滚动可以基于时间、数据大小、事件数量。也支持通过event hearder属性timestamp或host分割数据。HDFS目录路径或文件名支持格式化封装,相应的封装串在HDFSSink生成目录或文件时被恰当的替换。使用HDFSSink需要首先安装hadoop,HDFSSink是通过hadoop jar和HDFS集群通信的。注意Hadoop版本需要支持sync().
    以下是HDFS支持的封装串:

      使用中的文件以".tmp"结尾,一旦文件关闭,这个扩展名将被移除。这样我们就可以排除没有完成的文件。时间相关的封装串都依赖于event的header中的timestamp属性。HDFSSink的属性如下:

配置示例:
log-collector.sources=screen
log-collector.sinks=screen
log-collector.channels=screen

# Describe the source


# Describe the sink
log-collector.sinks.screen.type = hdfs
#日志保存路径,这里按天存放
log-collector.sinks.screen.hdfs.path=hdfs://nn.uusee.com:9000/user/flume/original/screen/%Y/%m/%d
#文件前缀,也可以使用封装串
log-collector.sinks.screen.hdfs.filePrefix=screen-%Y%m%d-%H0000000
#使用LZO压缩算法,注意这里有一个bug,使用LzopCodec时文档没有说明
log-collector.sinks.screen.hdfs.codeC=LzopCodec
log-collector.sinks.screen.hdfs.fileType=CompressedStream
#每10分钟滚动
log-collector.sinks.screen.hdfs.rollInterval=600
#不根据文件大小滚动
log-collector.sinks.screen.hdfs.rollSize=0
#不根据事件条数滚动
log-collector.sinks.screen.hdfs.rollCount=0
log-collector.sinks.screen.hdfs.writeFormat=Text
#批量保存大小,需要和channel的匹配
log-collector.sinks.screen.hdfs.batchSize=1000
log-collector.sinks.screen.hdfs.threadsPoolSize=15
#hadoop集群响应时间较长时需要配置
log-collector.sinks.screen.hdfs.callTimeout=30000


# Describe the channel
log-collector.channels.screen.type = file
log-collector.channels.screen.checkpointDir = /data0/flume-ng-channel/log/screen/checkpoint
log-collector.channels.screen.dataDirs = /data0/flume-ng-channel/log/screen/data
log-collector.channels.screen.capacity = 2000000
log-collector.channels.screen.transactionCapacity = 1000

# Bind the source and sink to the channel
log-collector.sources.screen.channels = screen
log-collector.sinks.screen.channel = screen

0 个评论

要回复文章请先登录注册