flume收集syslog(udp source)时,丢失数据严重

我在项目中使用flume收集实时产生的日志:
上游发送端:单台机器,使用syslog(udp协议)来发送实时日志
下游采集端:单台flume采用udp source
但发现也就收到50%不到的日志数据(打印到控制台或落地到文件,只包含50%左右)

我自己也做过测试
1.在下游采集端使用udp工具本机发送,发送间隔设置成0毫秒(比实际上下游传输要快),依然能收到95%以上的数据,但实际生产环境会丢失大量的数据
2.利用网络抓包查看,发现数据确实都发到我们的flume采集服务器了(也就是网络传输中没有丢失),但进入flume,落地成文件,就丢失了大量的数据

各位专家是否有了解flume接收数据的瓶颈等问题的,什么原因造成大量数据丢失呢?感觉像是flume接收能力的问题

fish - Hadooper

赞同来自:

多加些日志看看是在channel还是sink的环节少数据了。

yucker

赞同来自:

source收到的就是少的,但网络抓包显示数过来了,感觉没有进入flume

men3cheng

赞同来自:

你好,能贴下conf文件吗

要回复问题请先登录注册