idea 搭建spark编程问题

现在我的情况是spark都已经搭建好了,在spark-shell跑了 一些例子也都没有问题
现在希望在idea中进行scala的spark编码
老师给的program是个啥工程 应该怎么使用呢
怎么写一个自己的scala程序 并打成jar包  提交到spark上跑呢
 
StreamingContext找不到对象,需要导入哪个jar包呢
我现在导了下面的jar包
datanucleus-api-jdo-3.2.6.jar
datanucleus-core-3.2.10.jar
datanucleus-rdbms-3.2.9.jar
spark-1.5.2-yarn-shuffle.jar
spark-assembly-1.5.2-hadoop2.6.0.jar
spark-examples-1.5.2-hadoop2.6.0.jar
 
 
 
QQ图片20151126120143.png

yanglei

赞同来自:

现在我的情况是spark都已经搭建好了,在spark-shell跑了 一些例子也都没有问题 现在希望在idea中进行scala的spark编码 老师给的program是个啥工程 应该怎么使用呢 怎么写一个自己的scala程序 并打成jar包  提交到spark上跑呢   ----> 这方面网上资料很多了,其实可以百度找找,内容都很详细,限于篇幅,这里不粘贴了。给你一个链接,你自己参考就好  http://www.tuicool.com/articles/BzI3UfZ      StreamingContext找不到对象,需要导入哪个jar包呢 我现在导了下面的jar包 datanucleus-api-jdo-3.2.6.jar datanucleus-core-3.2.10.jar datanucleus-rdbms-3.2.9.jar spark-1.5.2-yarn-shuffle.jar spark-assembly-1.5.2-hadoop2.6.0.jar spark-examples-1.5.2-hadoop2.6.0.jar   ----> 先可以导入assembly。 在ideaIDE中,如果某个对象无法解析,可以鼠标定在那个对象上,然后按Alt+Enter, idea会自动import你需要的类。  

天热不下雨

赞同来自:

[pre]我补充了一张图:[/pre][pre]StreamingContext找不到应该是因为[/pre][pre]import org.apache.spark.streaming.StreamingContext._ 没找到, [/pre][pre]这个是在那个jar包里呢? [/pre]

天热不下雨

赞同来自:

后来感觉是版本的问题(我用的是spark-1.5.2-bin-hadoop2.6)查询官方API发现 现在StreamingContext这个构造函数带master的需要传6个参数 val ssc = new StreamingContext(args(0), "NetworkWordCount", Seconds(args(3).toInt), System.getenv("SPARK_HOME"), StreamingContext.jarOfClass(this.getClass)) 明显少了一个environment: Map[String, String] = Map() 而且jars: Seq[String] = Nil,好像StreamingContext.jarOfClass(this.getClass)也不对了 最后这两个参数应该怎么写?

奔跑的大象

赞同来自:

建议使用maven工程

要回复问题请先登录注册