yanglei

yanglei

威望 : 34 积分 : 1780 赞同 : 23 感谢 : 5

擅长话题

更多 »回复

0

无论pyspark还是spark-submit,你的--master后跟的参数都一致吗?  

0

WebUI上为啥是removed executors?

0

就这类问题,做个完整的介绍吧:         对Yarn而言,executor和application master运行在Container中。在一个应用完成之后,Yarn有两种模式来处理Container log。如果log application是打开的...

0

建议阅读下spark的源码,从rdd.iterator这个函数入手(RDD.scala),一步一步追下去。 这样就会对spark整个的缓存策略有较全面和深入的理解。

0

建议认真学习下陈超老师的视频。

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 34 积分: 1780 赞同: 23 感谢: 5

最后活跃:
2017-03-20 16:31
擅长话题:
spark 14   1
scala 6   2
机器学习 2   0
python 2   0
hadoop 3   1
storm 3   1
更多 » 关注 6

carson admin ChinaHadoop 木舟 fish

更多 » 16017 人关注

_小小_程序员 jz20171231 邢健峰 不知道啊 hadoop01

关注 0 话题
主页访问量 : 2021 次访问