集群部署问题

将应用部署到YARN集群和部署到Spark集群上有什么区别?具体使用的时候推荐哪种?为什么?

wangxiaolei

赞同来自:

也搭建了spark集群就需要更多人来维护集群, 一般使用spark on yarn运行程序不需要搭建spark集群。  

fish - Hadooper

赞同来自:

没太明白“部署到Spark集群上”这个说法的意思。   Spark为计算引擎,Yarn是资源管理平台。两者不冲突。   Spark的资源管理可以由Yarn完成,也就是Spark可部署到Yarn上。Spark也有Standalone模式,可以用Master跟Slave完成资源管理。  并且,Spark计算引擎也可以部署到Mesos上,由Mesos完成资源管理工作。

要回复问题请先登录注册