日志传输可靠性

假设我构建了一个日志传输处理分析系统,发送端是各个游戏服务器上产生的日志。
1 我相信我构建的这个日志系统已经在技术上保证了消息传输的可靠和不丢失
2 游戏项目组怀疑消息的传输是不可靠的,中间会丢数据。
问题: 如何说服他们相信数据是可靠的?
比如说可以让他们提供某日的数据总条数,然后我再在HBase中查出这天数据的总条数,两者一致应该就能说明数据未丢失了吧。
已邀请:
如果上述检查数据完整性的方案是可行的,那么如何高效的查询某天入库的数据量有多少呢?通过HBase的table scanner 的next方法去计数的效率肯定很低吧。

fish - Hadooper

如果中间没有什么滤重操作,从条数是可以判断的。

fish - Hadooper

事后统计不太好做,需要扫表。
可以在入库之前做记录,或者打log,然后统计。

要回复问题请先登录注册