k8s核心资源Job&&CronJob调度pod

发布时间 2023-08-25 16:08:35作者: 杨梅冲

一、Job与CronJob概念与与原理解读

     Job 控制器用于管理 Pod 对象运行一次性任务,比方说我们对数据库备份,可以直接在 k8s 上启动一个 mysqldump 备份程序,也可以启动一个 pod,这个 pod 专门用来备份用的,备份结束 pod 就可以终止了,不需要重启,而是将 Pod 对象置于"Completed"(完成)状态,
若容器中的进程因错误而终止,则需要按照重启策略配置确定是否重启,对于 Job 这个类型的控制器来说,需不需要重建 pod 就看任务是否完成,完成就不需要重建,没有完成就需要重建 pod。 Job 控制器的 Pod 对象的状态转换如下图所示:

0:完成状态、非0:错误状态;以非0状态码退出就会重启pod

 1.1 Job三种使用场景

1、非并行任务:只启一个 pod,pod 成功,job 正常结束
2、并行任务同时指定成功个数:.spec.completions 为指定成功个数,可以指定也可以不指定.spec.parallelism(指定>1,会有多个任务并行运行)。当成功个数达到.spec.completions,任务结束。
3、有工作队列的并行任务:.spec.completions 默认1,.spec.parallelism 为大于 0 的整数。此时并行启动多个 pod,只要有一个成功,任务结束,所有 pod 结束

1.2 适用场景

Job 不是设计用来完成通信密集型的并行程序,如科学计算领域常见的场景。它支持并行地处理一组独立但相关的 work item,如发送邮件,渲染帧,转码文件和扫描 NoSql 数据库中的 key

kubectl explain Job.spec
相关配置:
.spec.completions:完成该 Job 需要执行成功的 Pod 数
.spec.parallelism:能够同时运行的 Pod 数
.spec.backoffLimit:允许执行失败的 Pod 数,默认值是 6,0 表示不允许 Pod 执行失败。如果Pod 是 restartPolicy 为 Nerver,则失败后会创建新的 Pod,如果是 OnFailed,则会重启 Pod,不管是哪种情况,只要 Pod 失败一次就计算一次,
而不是等整个 Pod 失败后再计算一个。当失败的次数达到该限制时,整个 Job 随即结束,所有正在运行中的 Pod 都会被删除。 .spec.activeDeadlineSeconds: Job 的超时时间,一旦一个 Job 运行的时间超出该限制,则 Job失败,所有运行中的 Pod 会被结束并删除。该配置指定的值必须是个正整数。不指定则不会超时

1.3 CronJob 概念、原理解读

CronJob 跟 Job 完成的工作是一样的,只不过 CronJob 添加了定时任务能力可以指定时间,实现周期性运行。Job,CronJob 和 Deployment,DaemonSet 显著区别在于不需要持续在后台运行

Deployment 主要用于管理无状态的应用(kubernetes 集群有一些 pod,某一个 pod 出现故障, 删除之后会重新启动一个 pod,那么 kubernetes 这个集群中 pod 数量就正常了,更多关注的是群体, 这就是无状态应用)。

使用场景:
1、在给定时间点只运行一次。
2、在给定时间点周期性地运行。

CronJob 的典型用法如下:
1、在给定的时间点调度 Job 运行。
2、创建周期性运行的 Job,例如数据库备份、发送邮件

二、Job控制器-资源清单编写技巧

# 查看Job资源对象由哪几部分组成
[root@master dmgame]# kubectl explain Job
KIND:     Job
VERSION:  batch/v1

FIELDS:
  apiVersion    <string>
  kind    <string>
  metadata    <Object> #元数据,定义资源的名字和所在名称空间
  spec    <Object>
  status    <Object>

#查看 Job 下的 spec 字段
[root@master dmgame]# kubectl explain Job.spec
FIELDS:
  activeDeadlineSeconds    <integer> #通过指定job 存活时间,来结束一个 job。当 job 运行时间达到 activeDeadlineSeconds 指定的时间后,job 会停止由它启动的所有任务(如:pod),并设置 job 的状态为 failed

backoffLimit    <integer> #job 建议指定 pod 的重启策略为 never,如:.spec.template.spec.restartPolicy = "Never",然后通过 job 的 backoffLimit 来指定失败重试次数,在达到 backoffLimit 指定的次数后,
                job 状态设置为 failed(默认为 6 次) completionMode
<string> completions <integer> #指定job 启动的任务(如:pod)成功运行 completions 次,job 才算成功结束 manualSelector <boolean> parallelism <integer> #指定job 同时运行的任务(如:pod)个数,Parallelism 默认为 1, 如果设置为 0,则 job 会暂定 podFailurePolicy <Object> selector <Object> suspend <boolean> template <Object> -required- ttlSecondsAfterFinished <integer> #默认情况下,job 异常或者成功结束后,包括 job 启动的任务(pod),都不会被清理掉,因为你可以依据保存的 job 和 pod,查看状态、日志,以及调试等。这些用户可以手动删除,
用户手动删除 job,job controller 会级联删除对应的 pod,除了手动删除,通过指定参数 ttlSecondsAfterFinished 也可以实现自动删除 job,以及级联的资源,如:pod。如果设置为 0,job 会被立即删除。如果不指定,job 则不会被删除

2.1 实战:Job使用案例-创建一个一次性任务

[root@master ~]# cat job.yaml 
apiVersion: batch/v1
kind: Job
metadata:
  name: my-busybox-job
spec:
  completions: 6  # job 结束需要成功运行的 Pod 个数,即状态为 Completed 的 pod 数
  parallelism: 3  # 一次运行3个pod,这个值不会超过Completed个数
  backoffLimit: 6  # 如果job失败,重试次数
  template:
    metadata:
      labels:
        app: test
    spec:
      restartPolicy: Never
      containers:
        - name: my-container-job
          image: busybox
          imagePullPolicy: IfNotPresent
          command: ['sh', '-c']
          args: ['echo "Welcome to xc";sleep 60; echo "Next to Meet you"']

[root@master ~]# kubectl apply -f job.yaml 
job.batch/my-busybox-job created

[root@master ~]# kubectl get pods -l app=test -w

NAME                   READY   STATUS    RESTARTS   AGE
my-busybox-job-mct9j   0/1     Pending   0          0s
my-busybox-job-mct9j   0/1     Pending   0          1s
my-busybox-job-ph6fp   0/1     Pending   0          0s
my-busybox-job-xx2rh   0/1     Pending   0          0s
my-busybox-job-ph6fp   0/1     Pending   0          0s
my-busybox-job-mct9j   0/1     ContainerCreating   0          1s
my-busybox-job-xx2rh   0/1     Pending             0          0s
my-busybox-job-ph6fp   0/1     ContainerCreating   0          0s
my-busybox-job-xx2rh   0/1     ContainerCreating   0          0s
my-busybox-job-xx2rh   0/1     ContainerCreating   0          0s
my-busybox-job-mct9j   0/1     ContainerCreating   0          1s
my-busybox-job-ph6fp   0/1     ContainerCreating   0          1s
my-busybox-job-ph6fp   1/1     Running             0          2s
my-busybox-job-xx2rh   1/1     Running             0          2s
my-busybox-job-mct9j   1/1     Running             0          3s
启动了3个pod,completed后又启动了3个
#################################
[root@master ~]# kubectl get pods
NAME                   READY   STATUS      RESTARTS   AGE
my-busybox-job-4pbc5   1/1     Running     0          44s
my-busybox-job-dwqwm   1/1     Running     0          44s
my-busybox-job-mct9j   0/1     Completed   0          109s
my-busybox-job-ntf9d   1/1     Running     0          44s
my-busybox-job-ph6fp   0/1     Completed   0          108s
my-busybox-job-xx2rh   0/1     Completed   0          108s

[root@master ~]# kubectl logs my-busybox-job-4pbc5
Welcome to xc
Next to Meet you

############################
my-busybox-job-xx2rh   0/1     Completed           0          62s
my-busybox-job-ph6fp   0/1     Completed           0          62s
my-busybox-job-mct9j   0/1     Completed           0          63s
my-busybox-job-xx2rh   0/1     Completed           0          63s
my-busybox-job-ph6fp   0/1     Completed           0          63s
my-busybox-job-mct9j   0/1     Completed           0          64s
my-busybox-job-xx2rh   0/1     Completed           0          64s
my-busybox-job-mct9j   0/1     Completed           0          65s
my-busybox-job-ph6fp   0/1     Completed           0          64s
my-busybox-job-ntf9d   0/1     Pending             0          0s
my-busybox-job-4pbc5   0/1     Pending             0          0s
my-busybox-job-dwqwm   0/1     Pending             0          0s
my-busybox-job-ntf9d   0/1     Pending             0          0s
my-busybox-job-4pbc5   0/1     Pending             0          0s
my-busybox-job-ph6fp   0/1     Completed           0          64s
my-busybox-job-dwqwm   0/1     Pending             0          0s
my-busybox-job-xx2rh   0/1     Completed           0          64s
my-busybox-job-mct9j   0/1     Completed           0          65s
my-busybox-job-ntf9d   0/1     ContainerCreating   0          0s
my-busybox-job-4pbc5   0/1     ContainerCreating   0          0s
my-busybox-job-dwqwm   0/1     ContainerCreating   0          0s
my-busybox-job-ntf9d   0/1     ContainerCreating   0          1s
my-busybox-job-dwqwm   0/1     ContainerCreating   0          1s
my-busybox-job-4pbc5   0/1     ContainerCreating   0          1s
my-busybox-job-4pbc5   1/1     Running             0          2s
my-busybox-job-dwqwm   1/1     Running             0          2s
my-busybox-job-ntf9d   1/1     Running             0          2s
my-busybox-job-4pbc5   0/1     Completed           0          62s
my-busybox-job-dwqwm   0/1     Completed           0          62s
my-busybox-job-ntf9d   0/1     Completed           0          62s
my-busybox-job-dwqwm   0/1     Completed           0          63s
my-busybox-job-ntf9d   0/1     Completed           0          63s
my-busybox-job-4pbc5   0/1     Completed           0          63s
my-busybox-job-4pbc5   0/1     Completed           0          64s
my-busybox-job-dwqwm   0/1     Completed           0          64s
my-busybox-job-ntf9d   0/1     Completed           0          64s
my-busybox-job-ntf9d   0/1     Completed           0          64s
my-busybox-job-dwqwm   0/1     Completed           0          64s
my-busybox-job-4pbc5   0/1     Completed           0          64s

2.2 实战:CronJob使用案例-创建周期性定时任务

[root@master ~]# cat cronjob.yaml 
apiVersion: batch/v1
kind: CronJob
metadata:
  name: hello
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    spec:
      template:
        metadata:
          labels:
             app: cro
        spec:
          containers:
          - name: hello
            image: busybox
            imagePullPolicy: IfNotPresent
            command:
            - /bin/sh
            - -c
            - date; echo Hello from the Kubernetes cluster
          restartPolicy: OnFailure

[root@master ~]# kubectl apply -f cronjob.yaml 
cronjob.batch/hello created

[root@master ~]# kubectl get pods
NAME                   READY   STATUS      RESTARTS   AGE
hello-28215840-s5kgt   0/1     Completed   0          22s

[root@master ~]# kubectl get cronjob -w
NAME    SCHEDULE      SUSPEND   ACTIVE   LAST SCHEDULE   AGE
hello   */1 * * * *   False     0        <none>          0s
hello   */1 * * * *   False     1        0s              9s
hello   */1 * * * *   False     0        3s              12s
hello   */1 * * * *   False     0        3s              12s

[root@master ~]# kubectl get job -w
NAME             COMPLETIONS   DURATION   AGE
hello-28215840   0/1                      0s
hello-28215840   0/1           0s         0s
hello-28215840   0/1           3s         3s
hello-28215840   1/1           3s         3s

[root@master ~]# kubectl logs hello-28215840-s5kgt
Fri Aug 25 08:00:00 UTC 2023
Hello from the Kubernetes cluster