yarn-site.xml中配置的log server有什么用?

在大数据课程中第九课《Spark程序设计》中配置了yarn-site.xml文件,在其中添加了一个新的log server,访问端口被设定为19888。这个jobhistory server和访问端口为8088的这个jobhistory服务有什么不同(就是使用mr-jobhistory-daemon.sh start命令启动的这个),另外我检查了mapred-site.xml文件,其中也有个mapreduce.jobhistory.webapp.address配置项,端口号也是19888,是重复了?再加上spark的history server,有点搞不懂它们之间的关系和作用。

derek_xiao

赞同来自: Tomguluson 阮钦

1.yarn的history server用来记录在yarn上运行的程序的日志,主要是记录运行完成的MapRedcue日志,运行结束的MapRedcue日志会保存在yarn history server上。在mapred-site.xml配置文件里配置的yarn history server的端口号是19888端口,在启动yarn history server的时候读取的配置项,启动完成会监听19888这个端口。 yarn在yarn-site.xml中配置的是yarn history server的访问地址,spark history server可以通过这个访问地址访问到在yarn上运行的程序的日志,然后将日志保存到spark history server。 2.spark的history server是用来记录已经完成的spark应用程序的日志,在spark on yarn的模式下,即使在hadoop上运行完成了spark应用程序,也会把日志记录到 spark history server。  

竹子

赞同来自:

谢谢老师,也就是说yarn-site.xml中的地址是提供给spark使用的,以便它能够找到yarn的运行日志并拉取日志数据,但是它却不是直接通过查找mapred-site.xml中已配置的日志服务地址和端口来获取的,而需要单独再配置一个。 另外我看见8088端口是配置在yarn-site.xml中的,是每个resourcemanager都有,意思是不是这个8088端口是resourcemanager的,而19888这个端口是jobhistoryserver的?而这两个端口都可以打开WEB UI查看job状态,只是19888中的内容要少些

要回复问题请先登录注册