sparkLocal模式

发布时间 2024-01-11 10:37:39作者: 阿飞藏泪
Local模式的运行原理?
Local模式就是以一个独立进程配合其内部线程来提供完成Spark运行时环境. Local
模式可以通过spark-shell/pyspark/spark-submit等来开启
bin/pyspark是什么程序?
是一个交互式的解释器执行环境,环境启动后就得到了一个Local Spark环境,可以运
行Python代码去进行Spark计算,类似Python自带解释器
Spark的4040端口是什么?
Spark的任务在运行后,会在Driver所在机器绑定到4040端口,提供当前任务的监控页
面供查看