关于yarn模式的spark的安装

问题1:yum spark-core了。spark-env.sh需要配置哪些?(只需要在一台机器yum安装这个就够了对吧?)
问题2,:修改了spark-env.sh之后就可以启动了是吧?还需要做其他事情吗?(scala已经安装,他们之间需要什么操作让他们关联到一起吗?)

fish - Hadooper

赞同来自:

问题1:你需要跑什么模式呢?不同模式这个问题有不同答案。 问题2:可以根据需要修改一下SPARK_WORKER_MEMORY,比如在2G的机器上把它改成200M,如果跑在standalone模式下,需要修改STANDALONE_SPARK_MASTER_HOST,指向正确的spark master。跟问题1一样,根据不同的模式,有不同答案。   建议,先跑通一种模式。

fish - Hadooper

赞同来自:

cdh的spark安装之后,如果要在yarn模式下执行,env中不需要做什么修改(STANDALONE_SPARK_MASTER_HOST、SPARK_WORKER_MEMORY都是standalone模式使用的),而HADOOP_CONF_DIR之类的hadoop相关配置,cdh版本的配置已经根据cdh的安装路径配好了。   你如果需要跑在apache的版本上,需要根据hadoop的放置目录修改相关的hadoop配置,你遇到什么问题了?

fish - Hadooper

赞同来自:

你如果使用cdh 的spark,希望把它跑在apache的hadoop上。 请仔细看cdh的spark脚本,需要修改的地方不仅仅是spark-env.sh。 一般来说,apache hadoop上跑的话,会直接下载apache的spark,要混着用的话,需要仔细研究spark-shell、spark-submit等脚本的启动方式,把其中HADOOP_CLASSPATH的获取方式搞清楚。 你看看/usr/lib/spark/bin/compute-classpath.sh中,脚本是如何计算HADOOP_CLASSPATH的。

yanglei

赞同来自:

1.你在前面的课程中是不是已经安装了cdh版本的hadoop?   如果是的话,你现在直接用yum install安装spark就可以了。 如果在Yarn上运行,环境变量配置不需要作特别的更改,cdh版的已经基本配置好了。如果要在standalone模式下运行,那么需要在saprk-env.sh中配置standalone相关的环境变量如STANDALONE_SPARK_MASTER_HOST、SPARK_WORKER_MEMORY等。BTW: 至少spark-core你需要在每台机器上都安装。   2.如果你的hadoop是apache的版本,你可以试着装apache的spark版,需要注意如下两点: (a) 下载的spark版本要与hadoop版本对应。 (b) 需要手动安装oracle jdk1.7,scala sdk, 并且在/etc/profile中分别作如下设置: (c)  如果图简单快捷,jdk, scala, hadoop, spark 及其配置你可以用pssh或者scp命令直接分发到各个节点。     <jdk配置指向你的安装位置> export JAVA_HOME=/usr/lib/jvm/java-1.7 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin     <scala配置指向你的安装位置> export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin   配置免密码登陆课程中讲过了,这里略过。 hadoop配置课程中讲过,这里略过。   <spark安装后作如下配置> export SPARK_HOME=/usr/local/spark PATH=$PATH:${SPARK_HOME}/bin   同时,spark-env.sh中作如下配置: export JAVA_HOME=/usr/lib/jvm/java-1.7 export SCALA_HOME=/usr/local/scala` export SPARK_MASTER_IP=112.74.197.158<以本机为例> export SPARK_WORKER_MEMORY=1g   配置spark slaves文件,加入各节点hostname。   然后可以执行<saprk_install_dir>/bin 下的脚本,启动master或worker。   在其他节点上jps查看worker节点已经启动起来了。     关于Apache hadoop + CDH Spark的组合,有时间你也可以试试看。   关于spark环境搭建,配置,网上有很多文章可以参考。        

小谦

赞同来自:

本来这spark的环境搭建安装部署以及源码的下载阅读都是需要详细的在教程里面讲的阿

要回复问题请先登录注册