1/11 学习进度笔记

发布时间 2024-01-11 21:55:47作者: 云不会Java

Spark的程序运行层次结构

    4040:是一个运行的Application在运行过程中临时绑定的端口,用于查看当前任务的状态。4040被占用就会顺延到4041,4042等。

4040是一个临时端口,当前程序运行完成后,4040就会被注销。

    8080:默认是StandAlone下,Master角色(进程)的WEB端口,用以查看当前Master(集群)的状态

    18080:默认是历史服务器的端口,由于每个程序运行完成后,4040端口就被注销了。以后想回看某个程序的运行状态就可以通过历史服务器查看,历史服务区长期稳定运行,可供随时查看被记录的程序的运行过程。

 

StandAlone的原理

  Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群)

Spark角色在StandAlone中的分布

  Master角色:Master进程,Worker角色:Worker进程,Driver角色:以线程运行在Master中,Executor角色:以线程运行在Worker中

 

其中一个Spark程序会被分成多个子任务(Job),每一个Job会被分成多个阶段Statu(阶段)来运行,每一个State内会分出来多个Task(线程)来执行具体任务