flume syslongudp 丢数据,如何提升flume效率?增加channel和sink数量?

一个source多个channel多个sink。使用syslogupd接受数据,在使用发包工具时每秒1000条数据只能插入390条数据。现在用12channnel 12个sink输出到odps。
flume 报警告:WARN  [Old I/O datagram worker ([id: 0x41bcf8d2, /192.168.137.130:514])] (org.apache.flume.source.SyslogUtils.buildEvent:317)  - Event created from Invalid Syslog data.
这个提示是不是丢数据了?

Dong - Hulu

赞同来自:

首先,查清楚数据合法不,只差入了390条,剩下的610条可能非法,被flume丢弃了   如果数据全部合法,没有理由收集速度这么慢,查查odps是不是瓶颈。

要回复问题请先登录注册