浮生

浮生

威望 : 0 积分 : 1015 赞同 : 0 感谢 : 0

更多 »回复

0

老师,还有个spark streaming的问题,spark streaming是对小的数据batch的数据,但是现在我的streaming的batch处理的时候,每一条数据的处理都需要有一个http请求外部的资源(一个gpu处理结果,无法集成到spark中)...

0

老师,最近在测试Alluxio这个组件,是为了减少load数据到内存的时间消耗,但是现在发现,即便是把数据保存在这个内存文件系统中,在使用spark去使用数据的时候,还是会存在load数据的过程,并不是跟我想的似的,直接就用了这些数据。这是为什么呢?  还是说...

0

老师,我最近用spark streaming去读取kafka中数据的时候遇到了一个问题。streaming是按照时间来生成batch的,但是如果我程序正常读取数据到昨晚10点,然后程序挂了,当早上10点的时候,我发现程序挂了,启动起来,这个时候streamin...

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 0 积分: 1015 赞同: 0 感谢: 0

最后活跃:
2017-11-15 15:47
更多 » 关注 12

傲风寒 wangwensheng cenyuhai Dong mopishv0

更多 » 0 人关注
关注 0 话题
主页访问量 : 1011 次访问