参考：https://www.cnblogs.com/uestc2007/p/15598527.html
| 软件 | 版本 |
|---|---|
| cnetos7 | 20.04.2 |
| docker | 20.10.6 |
1、关闭swap分区 sudo swapoff -a #验证 free -m 2、 确保时区，时间正确 sudo timedatectl 3、确保虚机不会自动suspend sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target 4、加载内核模块br_netfilter，并调整参数 #执行 sudo modprobe br_netfilter #确认已加载 lsmod | grep br_netfilter #调整内核参数，修改 /etc/sysctl.conf #将桥接的IPv4流量传递到iptables的链 vim /etc/sysctl.conf cat > /etc/sysctl.conf << EFO net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EFO #使配置生效，执行： sudo sysctl --system 5、设置rp_filter的值 #执行 sudo vi /etc/sysctl.d/10-network-security.conf #将文件中如下两个参数的值从2修改为1 net.ipv4.conf.default.rp_filter=1 net.ipv4.conf.all.rp_filter=1 #使配置生效，执行： sudo sysctl --system
#创建rancher的持久化目录 mkdir -p /opt/data/rancher_data
#创建SSL根目录 mkdir -p /opt/data/rancher_ssl
#创建审计日志目录 mkdir -p /opt/data/rancher_auditlog
对应关系(阿里云ssl证书)：public.crt-->cert.pem xxxx.com.key->key.pem chain.crt-->cacerts.pem
如不安装证书去掉红色部分内容，rancher会自动安装一个证书（线上环境建议配置ssl）
docker run -d --restart=unless-stopped \ -p 80:80 -p 443:443 \ -v /opt/data/rancher_ssl/xxx.com_public.crt:/etc/rancher/ssl/cert.pem \ -v /opt/data/rancher_ssl/xxx.com.key:/etc/rancher/ssl/key.pem \ -v /opt/data/rancher_ssl/xxx.com_chain.crt:/etc/rancher/ssl/cacerts.pem \ --privileged \ -v /opt/data/rancher_data:/var/lib/rancher \ -v /opt/data/rancher_auditlog:/var/log/auditlog \ -e AUDIT_LEVEL=1 \ rancher/rancher:v2.7.5
注：版本自定义
查看STATUS 如果1分钟内，没有出现重启之类的问题，那么这个docker便已经启动成功。
docker ps
在浏览器访问 https://IP:port即可看到效果
1、通过docker ps 获取容器iD
2、docker logs 容器id 2>&1 | grep "Bootstrap Password:"
设置密码，最少12位
至此，Rancher安装完成！
如果已经存在k8s集群，可以导入已存在
vi restore-kube-config.sh
#!/bin/bash help () { echo ' ================================================================ ' echo ' --master-ip: 指定Master节点IP，任意一个K8S Master节点IP即可。' echo ' 使用示例：bash restore-kube-config.sh --master-ip=1.1.1.1 ' echo ' ================================================================' } case "$1" in -h|--help) help; exit;; esac if [[ $1 == '' ]];then help; exit; fi CMDOPTS="$*" for OPTS in $CMDOPTS; do key=$(echo ${OPTS} | awk -F"=" '{print $1}' ) value=$(echo ${OPTS} | awk -F"=" '{print $2}' ) case "$key" in --master-ip) K8S_MASTER_NODE_IP=$value ;; esac done # 获取Rancher Agent镜像 RANCHER_IMAGE=$( sudo docker images --filter=label=io.cattle.agent=true |grep 'v2.' | \ grep -v -E 'rc|alpha|<none>' | head -n 1 | awk '{print $3}' ) if [ -d /opt/rke/etc/kubernetes/ssl ]; then K8S_SSLDIR=/opt/rke/etc/kubernetes/ssl else K8S_SSLDIR=/etc/kubernetes/ssl fi CHECK_CLUSTER_STATE_CONFIGMAP=$( sudo docker run --rm --entrypoint bash --net=host \ -v $K8S_SSLDIR:/etc/kubernetes/ssl:ro $RANCHER_IMAGE -c '\ if kubectl --kubeconfig /etc/kubernetes/ssl/kubecfg-kube-node.yaml \ -n kube-system get configmap full-cluster-state | grep full-cluster-state > /dev/null; then \ echo 'yes'; else echo 'no'; fi' ) if [ $CHECK_CLUSTER_STATE_CONFIGMAP != 'yes' ]; then sudo docker run --rm --net=host \ --entrypoint bash \ -e K8S_MASTER_NODE_IP=$K8S_MASTER_NODE_IP \ -v $K8S_SSLDIR:/etc/kubernetes/ssl:ro \ $RANCHER_IMAGE \ -c '\ kubectl --kubeconfig /etc/kubernetes/ssl/kubecfg-kube-node.yaml \ -n kube-system \ get secret kube-admin -o jsonpath={.data.Config} | base64 --decode | \ sed -e "/^[[:space:]]*server:/ s_:.*_: \"https://${K8S_MASTER_NODE_IP}:6443\"_"' > kubeconfig_admin.yaml if [ -s kubeconfig_admin.yaml ]; then echo '恢复成功，执行以下命令测试：' echo '' echo "kubectl --kubeconfig kubeconfig_admin.yaml get nodes" else echo "kubeconfig恢复失败。" fi else sudo docker run --rm --entrypoint bash --net=host \ -e K8S_MASTER_NODE_IP=$K8S_MASTER_NODE_IP \ -v $K8S_SSLDIR:/etc/kubernetes/ssl:ro \ $RANCHER_IMAGE \ -c '\ kubectl --kubeconfig /etc/kubernetes/ssl/kubecfg-kube-node.yaml \ -n kube-system \ get configmap full-cluster-state -o json | \ jq -r .data.\"full-cluster-state\" | \ jq -r .currentState.certificatesBundle.\"kube-admin\".config | \ sed -e "/^[[:space:]]*server:/ s_:.*_: \"https://${K8S_MASTER_NODE_IP}:6443\"_"' > kubeconfig_admin.yaml if [ -s kubeconfig_admin.yaml ]; then echo '恢复成功，执行以下命令测试：' echo '' echo "kubectl --kubeconfig kubeconfig_admin.yaml get nodes" else echo "kubeconfig恢复失败。" fi fi
执行sh
sudo bash restore-kube-config.sh --master-ip=K8S Master节点IP
导入已有集群：
选择 导入 Kubernetes 集群：
输入集群名称：
执行下图命令：
有多个node节点，每个节点都要执行
rm -rf /etc/ceph \ /etc/cni \ /etc/kubernetes \ /opt/cni \ /opt/rke \ /run/secrets/kubernetes.io \ /run/calico \ /run/flannel \ /var/lib/calico \ /var/lib/etcd \ /var/lib/cni \ /var/lib/kubelet \ /var/lib/rancher/rke/log \ /var/log/containers \ /var/log/pods \ /var/run/calico
我们来创建一个工作负载，运行一个 nginx，看一下最终效果。进入集群，创建 Deployment ，配置好映射端口、镜像，点击创建：
等待安装完成，在浏览器访问 http://IP:30080, 即可看到 nginx 的欢迎页面
创建项目：
根据需求创建命名空间和设置资源
首先创建Harbor私库的密钥
选择 存储=> Secrets（密文） =>创建
命名空间选择之前自己创建的，填写名称，然后选择 Custom，仓库地址就是Harbor的地址，再输入Habor的用户名和密码。
Harbor的搭建参考：https://blog.csdn.net/zhilianxian2212/article/details/127412858?spm=1001.2014.3001.5501
你负责描述 Deployment 中的 目标状态，而 Deployment 控制器（Controller） 以受控速率更改实际状态， 使其变为期望状态。你可以定义 Deployment 以创建新的 ReplicaSet，或删除现有 Deployment， 并通过新的 Deployment 收养其资源。
说明：
不要管理 Deployment 所拥有的 ReplicaSet 。 如果存在下面未覆盖的使用场景，请考虑在 Kubernetes 仓库中提出 Issue。
以下是 Deployments 的典型用例：
apiVersion: 表示版本
kind: 表示资源
metadata: 表示元信息
spec: 资源规范字段
下面是具体的字段说明：
apiVersion: apps/v1 # 指定api版本，此值必须在kubectl api-versions中 kind: Deployment # 指定创建资源的角色/类型 metadata: # 资源的元数据/属性 name: dnehsa-bizc # 资源的名字，在同一个namespace中必须唯一 namespace: gdfw # 部署在哪个namespace中 labels: # 设定资源的标签 app: dnehsa-bizc spec: # 资源规范字段 replicas: 1 # 声明副本数目 revisionHistoryLimit: 10 # 保留历史版本 selector: # 选择器 matchLabels: # 匹配标签 app: dnehsa-bizc strategy: # 策略 rollingUpdate: # 滚动更新 maxSurge: 25% # 最大额外可以存在的副本数，可以为百分比，也可以为整数 maxUnavailable: 25% # 表示在更新过程中能够进入不可用状态的 Pod 的最大值，可以为百分比，也可以为整数 type: RollingUpdate # 滚动更新策略 template: # 模版 metadata: # 资源的元数据/属性 labels: # 设定资源的标签 app: dnehsa-bizc spec: # 资源规范字段 containers: - name: dnehsa-bizc # 容器的名字 image: 192.168.20.4:8930/library/dnehsa_bizc:v1.0 # 容器使用的镜像地址 imagePullPolicy: Always # 每次Pod启动拉取镜像策略，三个选择 Always、Never、IfNotPresent # Always，每次都检查；Never，每次都不检查（不管本地是否有）；IfNotPresent，如果本地有就不检查，如果没有就拉取 resources: # 资源管理 limits: # 最大使用 cpu: 300m # CPU，1核心 = 1000m memory: 500Mi # 内存，1G = 1000Mi requests: # 容器运行时，最低资源需求，也就是说最少需要多少资源容器才能正常运行 cpu: 100m memory: 100Mi livenessProbe: #存活探针器配置 httpGet: #1.存活探针器三种方式 1.cmd命令方式进行探测 2.http 状态码方式 3.基于tcp端口探测 path: /healthy #k8s源码中healthz 实现 https://github.com/kubernetes/kubernetes/blob/master/test/images/agnhost/liveness/server.go port: 32189 #应用程序监听端口 failureThreshold: 3 #处于成功时状态时，探测操作至少连续多少次的失败才被视为检测不通过，显示为#failure属性.默认值为3,最小值为 1,存活探测情况下的放弃就意味着重新启动容器。 initialDelaySeconds: 600 #存活性探测延迟时长,即容器启动多久之后再开始第一次探测操作,显示为delay属性.默认值为0，即容器启动后立刻便开始进行探测. periodSeconds: 10 #执行探测的时间间隔（单位是秒）。默认是 10 秒。最小值是 1秒,过高的频率会对Pod对象带来较大的额外开销,而过低的频率又会使得对错误的反应不及时. successThreshold: 1 #处于失败状态时,探测操作至少连续多少次的成功才被人为是通过检测，显示为#success属性,默认值为1，最小值也是1 timeoutSeconds: 3 #存活性探测的超时时长,显示为timeout属性,默认值1s,最小值也是1s readinessProbe: #定义就绪探测器 failureThreshold: 3 #处于成功时状态时，探测操作至少连续多少次的失败才被视为检测不通过，显示为#failure属性.默认值为3,最小值为 就绪探测情况下的放弃 Pod 会被打上未就绪的标签. tcpSocket: # 1.就绪探针三种方式 1.cmd命令方式进行探测 2.http 状态码方式 3.基于tcp端口探测 port: 32189 #应用程序监听端口 initialDelaySeconds: 10 #执行探测的时间间隔（单位是秒）。默认是 10 秒。最小值是 1秒,过高的频率会对Pod对象带来较大的额外开销,而过低的频率又会使得对错误的反应不及时. periodSeconds: 10 #执行探测的时间间隔（单位是秒）。默认是 10 秒。最小值是 1秒,过高的频率会对Pod对象带来较大的额外开销,而过低的频率又会使得对错误的反应不及时 successThreshold: 1 #处于失败状态时,探测操作至少连续多少次的成功才被人为是通过检测，显示为#success属性,默认值为1，最小值也是1 timeoutSeconds: 3 #存活性探测的超时时长,显示为timeout属性,默认值1s,最小值也是1s env: #环境变量 - name: TZ value: Asia/Shanghai # JVM env - name: JAVA_OPTS value: -Xms1024m -Xmx2048m -Dfile.encoding=UTF-8 # profile - name: PROFILE value: dev volumeMounts: # 使用存储卷 - mountPath: /var/logs # 将存储卷挂载到容器内部路径 name: log-volume dnsPolicy: ClusterFirst # 使用宿主机dns ; None 无任何策略 ；ClusterFirst 集群DNS优先;ClusterFirstWithHostNet 集群 DNS 优先，并伴随着使用宿主机网络 imagePullSecrets: # 镜像仓库拉取密钥 - name: harbor # 镜像Secrets需要在集群中手动创建 restartPolicy: Always # 重启策略 volumes: # 定义存储卷 - name: log-volume # 卷名称 hostPath: # 卷类型详细见:https://kubernetes.io/zh/docs/concepts/storage/volumes/ path: /data/logs/prod/dnehsa_bizc # 宿主机存在的目录路径 type: DirectoryOrCreate # 如果在给定路径上什么都不存在，那么将根据需要创建空目录，权限设置为 0755，具有与 kubelet 相同的组和属主信息 - name: sidecar # emptyDir: {} #emptyDir 卷的存储介质（磁盘、SSD 等）是由保存 kubelet 数据的根目录 （通常是 /var/lib/kubelet）的文件系统的介质确定。
创建一个Deployment后，还会自动创建一个Pod。
这边状态显示为Active，说明创建成功。
Pod 是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。
Pod（就像在鲸鱼荚或者豌豆荚中）是一组（一个或多个） 容器； 这些容器共享存储、网络、以及怎样运行这些容器的声明。 Pod 中的内容总是并置（colocated）的并且一同调度，在共享的上下文中运行。 Pod 所建模的是特定于应用的 “逻辑主机”，其中包含一个或多个应用容器， 这些容器相对紧密地耦合在一起。 在非云环境中，在相同的物理机或虚拟机上运行的应用类似于在同一逻辑主机上运行的云应用。
除了应用容器，Pod 还可以包含在 Pod 启动期间运行的 Init 容器。 你也可以在集群支持临时性容器的情况下， 为调试的目的注入临时性容器。
说明： 除了 Docker 之外，Kubernetes 支持很多其他容器运行时， Docker 是最有名的运行时， 使用 Docker 的术语来描述 Pod 会很有帮助。
Pod 的共享上下文包括一组 Linux 名字空间、控制组（cgroup）和可能一些其他的隔离方面， 即用来隔离容器的技术。 在 Pod 的上下文中，每个独立的应用可能会进一步实施隔离。
Pod 类似于共享名字空间并共享文件系统卷的一组容器。
Pod 通常不是直接创建的，而是使用工作负载资源创建的。
这边状态显示为Running，说明正在运行。
Execute Shell 可以进入Pod的容器中，相当于执行命令：kubectl exec -it podName -n namespaceName – /bin/sh
View Logs 查看日志，相当于执行命令：kubectl logs -f --tail 500 podName -n namespaceName
将运行在一组 Pods 上的应用程序公开为网络服务的抽象方法。
使用 Kubernetes，你无需修改应用程序即可使用不熟悉的服务发现机制。 Kubernetes 为 Pod 提供自己的 IP 地址，并为一组 Pod 提供相同的 DNS 名， 并且可以在它们之间进行负载均衡。
动机
创建和销毁 Kubernetes Pod 以匹配集群的期望状态。 Pod 是非永久性资源。 如果你使用 Deployment 来运行你的应用程序，则它可以动态创建和销毁 Pod。
每个 Pod 都有自己的 IP 地址，但是在 Deployment 中，在同一时刻运行的 Pod 集合可能与稍后运行该应用程序的 Pod 集合不同。
这导致了一个问题： 如果一组 Pod（称为“后端”）为集群内的其他 Pod（称为“前端”）提供功能， 那么前端如何找出并跟踪要连接的 IP 地址，以便前端可以使用提供工作负载的后端部分？
进入 Services。
具体可看服务（Service）
创建Service成功后，就可以访问到服务了。说明：如果你将 type 字段设置为 NodePort，则 Kubernetes 控制平面将在 --service-node-port-range 标志指定的范围内分配端口（默认值：30000-32767）。详情请看：发布服务（服务类型)
下面是具体的字段说明：
apiVersion: v1 # 指定api版本，此值必须在kubectl api-versions中 kind: Service # 指定创建资源的角色/类型 metadata: # 资源的元数据/属性 name: dnehsa-bizc-svc # 资源的名字，在同一个namespace中必须唯一 namespace: gdfw # 部署在哪个namespace中 labels: # 设定资源的标签 app: dnehsa-bizc-svc spec: # 资源规范字段 type: NodePort # 类型：集群IP，外部DNS服务名称，Headless，负载均衡器，节点端口 ports: - name: dnehsa-bizc-svc # 端口名称 nodePort: 30006 # 节点端口 port: 30006 # 监听端口 protocol: TCP # 协议 targetPort: 30006 # 目标端口 selector: # 选择器 app: dnehsa-bizc
##kubectl scale --replicas=3 资源类型/资源名称 kubectl scale --replicas=3 deploy/test-deploy
图形化操作
通过部署rancher的容器进入
docker exec -it rancher bash