flume 最新的hive-sink

在flume官方文档中发现有hive-sink,如果hive可以用,就少了执行load hdfs数据这一环节了,但是跑不起来。

[attach]1419[/attach]
 flume报错信息如下:

[attach]1420[/attach]
 应该是没有hive的先关包,是不是应该把hive lib里的包复制到flume下? 是哪个包呢?复制到哪里呢?
已邀请:

fish - Hadooper

赞同来自: 李涛

你需要安装hive-hcatalog,并将其的jar包放入flume的lib当中(或者让flume的classpath包含hcatalog)。

李涛

赞同来自: fish

flume原生那个hive sink貌似是基于Hive Streaming Data Ingest搞的。我最近写了个Batch导入Hive的,每个parition生成一个ORC文件,然后更新metastore,还能支持Serde解析,你感兴趣可以试试^_^
项目地址:github搜索flume-hive-batch-sink就行

要回复问题请先登录注册