frmark

frmark

威望 : 0 积分 : 1045 赞同 : 1 感谢 : 0

更多 »回复

0

[size=14]问一下老师,spark1.6的时候sparksql创建临时表是用registerTempTable和2.1的registerOrCreateTempView本质一样吗,都是sparkContext关闭的时候被drop掉吗?这个注册临时表是将元...

0

问一下老师,spark1.6的时候sparksql创建临时表是用registerTempTable和2.1的registerOrCreateTempView本质一样吗,都是sparkContext关闭的时候被drop掉吗?这个注册临时表是将元数据信息放到内存中...

0

1.程序在本地是可以正常运行的,但是由于放到不同版本CDH或HDP的生产环境中,会存在很多关于jar包冲突,或者缺少类的错误,这种有没有终极解决方案,难道是把依赖打到同一个jar中吗? 2.spark on yarn中,spark.yarn.jar是必须指定的...

0

假设node有10个,如果分配100个executor,并且每个executor的memory都是1G,核有1个,加起来的总数超过node的资源的话,yarn是怎么处理的

0

问一下为什么yarn模式下需要指定spark.yarn.jar,同时问一下,这个jar是自己打的吗,如果其中包括自己写的应用程序的话,就不用担心环境的兼容性问题和包冲突的问题了吧,不知道理解的对不对。

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 0 积分: 1045 赞同: 1 感谢: 0

最后活跃:
2019-02-01 10:06
更多 » 关注 8

傲风寒 ChinaHadoop fish 木舟 admin

更多 » 0 人关注
主页访问量 : 614 次访问