爱数博客

       AnyRobot作为一款强大的日志收集分析系统，某些关键配置文件需要定期备份，比如备份到本地、备份到存储，那AnyRobot是如何实现关键配置文件定期备份的呢，大家都知道，AnyRobot采用K8S云原生架构，通过K8s丰富的controller之CronJob来实现关键配置文件的定期备份，接下来我们重点来了解CronJob，了解CronJob，我们必须得了解Job。

apiVersion: batch/v1beta1                
kind: CronJob                             
metadata:                                     
  name: jon-controller                          # CronJob名称
  namespace: dev                                # CronJob所属的命名空间
  labels:                                              # 给CronJob打标签
    controller: cronjob
spec:                                      
  schedule: "*/5 * * * * "                      # cron格式的Job调度运行时间点，用于控制Job定时运行时间
  concurrencyPolicy: Forbid                     # Job并发执行策略
  failedJobsHistoryLimit: 4                     # 为失败的Job保留的历史记录数，默认为1
  successfulJobsHistoryLimit: 4                 # 为成功的Job保留的历史记录数，默认为3
  jobTemplate:                                  # job控制器模板，用于为cronjob控制器生成job对象
    metadata: {}
    spec:
      completions: 5                            # 指定Job需要成功运行Pod的总次数，默认为1
      parallelism: 23                           # 指定Job在任一时刻能够并发运行Pod的数量，默认为1
      activeDeadlineSeconds: 120                 # 指定Job可以运行的时间期限，超过时间还没结束，系统将会尝试进行终止
      backoffLimit: 5                           # 指定Job失败后进行重试的次数，默认为6
      template:                                 # pod副本创建模板。属性和Pod的属性一样
        spec:
          restartPolicy: Never                  # 重启策略只能设置为Never或OnFailure
          containers:
            - name: busybox
              image: busybox:latest
              command: [ "/bin/sh", "-c", "for i in 1 2 3 ; do echo $i; sleep 3; done" ]
 

[root@arnode ~]# kubectl get cj  -n proton
NAME                      SCHEDULE      SUSPEND   ACTIVE   LAST SCHEDULE   AGE
proton-cs-backup-arnode   30 18 * * *   False     0        13h             38d

apiVersion: batch/v1
kind: CronJob
metadata:
  generation: 1
  name: proton-cs-backup-arnode
  namespace: proton
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 1
  jobTemplate:
    metadata:
      creationTimestamp: null
    spec:
      template:
        metadata:
          creationTimestamp: null
        spec:
          containers:
          - command:
            - proton-cs-backup
            - backup
            - --limit=7
            - --directory=/var/lib/proton-cs/backup
            - --prefix=
            image: registry.aishu.cn:15000/proton/proton-cs-backup:v1.1.3
            imagePullPolicy: IfNotPresent
            name: backup
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /var/lib/proton-cs/backup
              name: backup-directory
            - mountPath: /etc/kubernetes
              name: k8s-dir
            - mountPath: /var/lib/kubelet
              name: kubelet-run-directory
            - mountPath: /usr/share/zoneinfo
              name: zoneinfo
            - mountPath: /etc/localtime
              name: localtime
          dnsPolicy: ClusterFirst
          hostNetwork: true
          nodeName: arnode
          restartPolicy: OnFailure
          schedulerName: default-scheduler
          securityContext: {}
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /var/lib/proton-cs/backup
              type: ""
            name: backup-directory
          - hostPath:
              path: /etc/kubernetes
              type: ""
            name: k8s-dir
          - hostPath:
              path: /var/lib/kubelet
              type: ""
            name: kubelet-run-directory
          - hostPath:
              path: /usr/share/zoneinfo
              type: ""
            name: zoneinfo
          - hostPath:
              path: /etc/localtime
              type: ""
            name: localtime
  schedule: 30 18 * * *
  startingDeadlineSeconds: 3600
  successfulJobsHistoryLimit: 3
  suspend: false

[root@arnode ~]# kubectl  get job -n proton
NAME                               COMPLETIONS   DURATION   AGE
proton-cs-backup-arnode-28377750   1/1           6s         2d14h
proton-cs-backup-arnode-28379190   1/1           7s         38h
proton-cs-backup-arnode-28380630   1/1           7s         14h

[root@arnode ~]# ls /var/lib/proton-cs/backup
2023-12-12-02-30-01.tar.gz  2023-12-13-02-30-01.tar.gz  2023-12-14-02-30-01.tar.gz  2023-12-15-02-30-01.tar.gz  2023-12-16-02-30-01.tar.gz  2023-12-17-02-30-01.tar.gz  2023-12-18-02-30-01.tar.gz

etcd-snapshot.db
rootfs/
rootfs/etc/
rootfs/etc/kubernetes/
rootfs/etc/kubernetes/admin.conf
rootfs/etc/kubernetes/controller-manager.conf
rootfs/etc/kubernetes/kubelet.conf
rootfs/etc/kubernetes/manifests/
rootfs/etc/kubernetes/manifests/etcd.yaml
rootfs/etc/kubernetes/manifests/kube-apiserver.yaml
rootfs/etc/kubernetes/manifests/kube-controller-manager.yaml
rootfs/etc/kubernetes/manifests/kube-scheduler.yaml
rootfs/etc/kubernetes/pki/
rootfs/etc/kubernetes/pki/apiserver-etcd-client.crt
rootfs/etc/kubernetes/pki/apiserver-etcd-client.key
rootfs/etc/kubernetes/pki/apiserver-kubelet-client.crt
rootfs/etc/kubernetes/pki/apiserver-kubelet-client.key
rootfs/etc/kubernetes/pki/apiserver.crt
rootfs/etc/kubernetes/pki/apiserver.key
rootfs/etc/kubernetes/pki/ca.crt
rootfs/etc/kubernetes/pki/ca.key
rootfs/etc/kubernetes/pki/etcd/
rootfs/etc/kubernetes/pki/etcd/ca.crt
rootfs/etc/kubernetes/pki/etcd/ca.key
rootfs/etc/kubernetes/pki/etcd/healthcheck-client.crt
rootfs/etc/kubernetes/pki/etcd/healthcheck-client.key
rootfs/etc/kubernetes/pki/etcd/peer.crt
rootfs/etc/kubernetes/pki/etcd/peer.key
rootfs/etc/kubernetes/pki/etcd/server.crt
rootfs/etc/kubernetes/pki/etcd/server.key
rootfs/etc/kubernetes/pki/front-proxy-ca.crt
rootfs/etc/kubernetes/pki/front-proxy-ca.key
rootfs/etc/kubernetes/pki/front-proxy-client.crt
rootfs/etc/kubernetes/pki/front-proxy-client.key
rootfs/etc/kubernetes/pki/sa.key
rootfs/etc/kubernetes/pki/sa.pub
rootfs/etc/kubernetes/scheduler.conf
rootfs/var/
rootfs/var/lib/
rootfs/var/lib/kubelet/
rootfs/var/lib/kubelet/config.yaml
rootfs/var/lib/kubelet/kubeadm-flags.env
rootfs/var/lib/kubelet/pki/
rootfs/var/lib/kubelet/pki/kubelet-client-2023-11-09-19-14-34.pem
rootfs/var/lib/kubelet/pki/kubelet-client-current.pem
rootfs/var/lib/kubelet/pki/kubelet.crt
rootfs/var/lib/kubelet/pki/kubelet.key
metadata.yaml