Spark On YARN架构

发布时间 2024-01-12 19:49:16作者: 田攀攀的博客

        Spark On YARN模式遵循YARN的官方规范,YARN只负责资源的管理和调度,运行哪种应用程序由用户自己决定,因此可能在YARN上同时运行MapReduce程序和Spark程序,YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中,共享集群存储资源与计算资源。

一:提交方式

     Spark On YARN模式与Standalone模式一样,也分为client和cluster两种提交方式。

     1. client提交方式

 

      2. cluster提交方式   

 

二:Spark On YARN模式的集群搭建