张文山4tw

张文山4tw

威望 : 0 积分 : 1010 赞同 : 0 感谢 : 0

更多 »回复

0

Nginx日志 + flume + kafka + SparkStreaming架构中:   1. 日志文件会随时间或大小滚动,flume丢数据是如何处理的?需要自定义开发吗? 2. 满足至少处理一次,推荐用那种方案?Hulu用的那种?(是否能满足SparkS...

0

想问老师数据收集的问题:   在 日志文件-》flume -》 kafka -》SparkStreaming架构中,使用tail -F收集日志,遇到了以下两个问题:   1. 日志文件在滚动(例如文件大小达到固定上限),切换文件时,flume会丢数据; 2. ...

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 0 积分: 1010 赞同: 0 感谢: 0

最后活跃:
2017-11-26 10:59
更多 » 关注 8

傲风寒 ChinaHadoop fish 木舟 admin

更多 » 0 人关注
关注 0 话题
主页访问量 : 460 次访问