pyspark 任务提交不识别表

在 pyspark的命令行里面 通过 HiveContext.table()可以读到hive里面的表,但是同样的代码放到python文件里用 spark-submit提交执行就保存说 no such table 了,请问知道是怎么 回事吗?

yanglei

赞同来自:

无论pyspark还是spark-submit,你的--master后跟的参数都一致吗?  

BingClouds - 未来就在这里,只是尚未流行。

赞同来自:

 嗯对,都是yarn模式的 

BingClouds - 未来就在这里,只是尚未流行。

赞同来自:

是的,都是一致的  

要回复问题请先登录注册