heming621

heming621

威望 : 1 积分 : 1060 赞同 : 2 感谢 : 0

擅长话题

更多 »回复

0

Spark SQL对数据倾斜(即数据本地性)或任务倾斜有相应的优化操作吗?

0

请问有没有替换groupBy算子的类似方案?  类似cartesian算子的源代码可以在哪里查看?

0

(1)如果一个文件200M,存储的时候是两个blcok,两个block是均匀地分为100M、100M,还是一个一个block存储分为128M、72M? (2)如果是一个200M的文件,分为两个partition,是100M、100M,还是128M、72M呢?...

2

RDD-partition 和 HDFS-block 的关系是?两者的大小是一样的吗?比如Block 128M,对应的Partition也是128M吗?

0

[size=14]Alluxio使用的内存是自己独立开辟的,还是占用Spark运行的内存?[/size]

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 1 积分: 1060 赞同: 2 感谢: 0

最后活跃:
2018-03-24 21:28
擅长话题:
Spark 2   0
更多 » 关注 12

傲风寒 wangwensheng cenyuhai Dong mopishv0

更多 » 0 人关注
关注 1 话题
主页访问量 : 686 次访问