flume经典问题(工作中总结的很常见、很棘手的问题)

1:flume采集过程中,一天的数据量是2T以上,采用老师的集群架构能否支撑的住(集群规模最少需要多少)
2:flume在数据采集中的过滤(比如说来了30个字段,我只要其中的5个字段,类似定制过滤器,该如何实现)
3:flume在中断的过程中如何处理,如何断点续传,如何很有效的进行监控
4:flume在上传的过程中:一次上传百M以上单位,处理不当的话,会出现好多小碎片数据(几K)
5:flume采集数据下沉到Hadoop或本地文件的配置方式
6:flume接收数据的来源:一般常用的有哪几种,该如何配置

wangxiaolei

赞同来自: dajianzhang

你想问那个课的老师?

dajianzhang

赞同来自:

《Hadoop大数据体系》,hulu大数据团队主讲的董老师,我报名参加了他的课程。

要回复问题请先登录注册