spark on k8s环境下不重新打镜像实现celeborn client或其他底层jar包升级-526互联

博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/17792469.html

前言

Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器 SQL。Apache Celeborn 是一个Remote Shuffle Service的实现方案。本文参考 Kyuubi 和 Celeborn官网，在搭建之前需要大家事先准备好k8s、kyuubi和celeborn。

问题引入

根据 celeborn官网，spark调用celeborn时，需要把对应的jar包放到$SPARK_HOME/jars/ 目录下。大家都知道spark on k8s 需要打spark 镜像，那如果celeborn升级了，难道要重打镜像吗？

当然这是一种办法，但是作为有追求的（爱折腾）的程序员，肯定不喜欢这种不优雅的方式。

你可能会想到指定spark.jars不就完了，如果你这样试了，会得到如下的结果：

可以看到driver启动成功，但是executor启动却是失败的，点开一个executor查看日志如下：

这是为什么呢？

问题探究

下面来看一张executor启动成功的截图

可以看到拉取spark.jars指定的jar包是在executor启动成功之后！

结合executor启动失败的那张图可以得出，启动失败的原因是：在executor启动过程中发现缺少celeborn相关jar包。（注：关于executor的启动流程细节，感兴趣的同学可以读源码或者搜索相关技术文章，本文不讨论executor启动的具体过程。）

那有什么办法可以在executor启动之前把jar包拉取下来呢？

问题解决

咱们用的是spark on k8s的方式，executor是以pod的方式启动的，既然是pod，结合spark.kubernetes.{driver,executor}.podTemplateFile 就可以指定 init containers 控制pod的创建过程，pod template文件如下：

apiversion: v1

kind: Pod

spec:

volumes:

- name: external-jars

emptyDir: {}

containers:

- volumeMounts:

- name: external-jars

mountPath: /opt/spark/external-jars

initContainers:

- name: download-external-jars