关于回填问题

老师,请教个问题,你们之前有没有遇到回填的业务啊,就是我有很多小文件,也是一行一行读的,但是必须读完整个文件后才计算出某些值,然后把这个值回填到改文件的每个行里面,这种该怎么做呀?mapreduce或者spark都可以,只要能解决就行,谢谢了!
已邀请:

fish - Hadooper

文件大么?是否可以全内存中解决?
逻辑需要完整的mapreduce还是只要map?

mopishv0 - 高级开发工程师@美团

HDFS文件不支持随机写入,这种情况hbase更好点,mr处理完,生成hfile,bulkload到hbase中
哦,谢谢两位老师。

要回复问题请先登录注册