mfkxiaolei

mfkxiaolei

威望 : 0 积分 : 2135 赞同 : 0 感谢 : 0

更多 »回复

0

firstGraph.aggregateMessages[Array[(VertexId, Int)]](   ctx => {     var dstAttr: Array[(VertexId, Int)] = Array.empty[(VertexI...

0

我在网上看的就是这个,我的边数据只有两个字段都过滤null值了。现在内存已经调到最大了。 我这个计算过程怎么减少shuffle?

0

[code=Java]代码如下,运行时mapPartitions at VertexRDDImpl.scala:218  会在这个stage报错 [/code][code=Java]val graph=GraphLoader.edgeListFile( sc...

0

我主要是图计算,根据边生成图,总共 200G,边数有90亿。会做点的聚合计算,aggregateMessages,聚合一度的点,然后在聚合二度、三度的点

0

明白过来了,多谢啊

更多 »发问

0

1096 次浏览  • 1 个关注   • 2016-11-09

1

669 次浏览  • 2 个关注   • 2016-11-02

8

2432 次浏览  • 4 个关注   • 2016-05-20

5

4836 次浏览  • 3 个关注   • 2016-05-10

2

1850 次浏览  • 3 个关注   • 2016-05-05

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 0 积分: 2135 赞同: 0 感谢: 0

最后活跃:
2019-08-13 14:01
更多 » 关注 12

admin Dong bmchs wangwensheng mopishv0

更多 » 0 人关注
关注 0 话题
主页访问量 : 1506 次访问