Spark Yarn模式

发布时间 2024-01-02 21:01:43作者: SpringCore

独立部署(Standalone)模式由 Spark 自身提供计算资源,无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但是Spark 主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成会更靠谱一些。
在国内工作中Spark大多数工作在Yarn 环境下,Yarn 使用的非常多。