逍遥feng

逍遥feng

威望 : 0 积分 : 1030 赞同 : 0 感谢 : 0

更多 »回复

0

sparkshuffle的1.3版本的有consolidate机制  目前的2.x版本  是不是就没有这个机制的设置了?

0

请问下  streaming读取kafka数据低阶api需要 手动维护offset?  是不是用高阶的api读取 就不用手动维护offset,streaming自动维护,是用到哪几个高阶api呢?

0

关于spark shuffle调优  能不能推荐几篇好的文章或者资料

0

请问下两个问题 1、对于尽量避免shuffle的使用,能否举一些常用的例子说明? 2、对于必须用到  sortbykey算子  会产生shuffle  这个用其他的替代么?用什么替代呢?

0

请问下spark on yarn 报如下异常  什么原因呢?  17/04/11 15:39:05 WARN scheduler.TaskSetManager: Lost task 20.3 in stage 11.0 (TID 2011, slave4): ...

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 0 积分: 1030 赞同: 0 感谢: 0

最后活跃:
2018-08-17 15:11
更多 » 关注 8

傲风寒 ChinaHadoop fish 木舟 admin

更多 » 0 人关注
关注 0 话题
主页访问量 : 508 次访问