flume接收syslog丢数问题

我在项目中使用flume收集实时产生的日志:
上游发送端:单台机器,使用syslog(udp协议)来发送实时日志
下游采集端:单台flume采用udp source
但发现也就收到50%不到的日志数据(打印到控制台或落地到文件,只包含50%左右)

我自己也做过测试
1.在下游采集端使用udp工具本机发送,发送间隔设置成0毫秒(比实际上下游传输要快),依然能收到95%以上的数据,但项目中上下游传输会丢失大量的数据
2.利用网络抓包查看,发现数据确实都发到我们的flume采集服务器了(也就是网络传输中没有丢失),但进入flume,落地成文件,就丢失了大量的数据

wangxiaolei

赞同来自:

source channel sink的配置文件怎么配置的

要回复问题请先登录注册