kubernetes 1.27.1 最新版集群部署国内环境
官方安装部署文档：https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
准备云服务器
首先买三台服务器。我用的阿里云服务器。
三台服务器如下，然后我用的Tabby连接三台服务器。
我以 i-bp12igqv5c7kdligslo2 私网地址为：172.16.146.249 这个实例为master节点。
主节点和从节点都需要做的
关闭SELinux，禁用SELinux的目的是让容器可以读取主机文件系统
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
关闭swap，如果内存不够用，直接起新节点，而不是让节点hang住
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
允许 iptables 检查桥接流量
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system
添加hosts
vim /etc/hosts
172.16.146.249 k8s-master
172.16.146.248 k8s-node1
172.16.146.247 k8s-node2
安装docker。
安装kubelet、kubeadm、kubectl。
安装docker
Alibaba Cloud Linux 3 (Soaring Falcon) 此系统兼容centos和RHEL
我们用centos安装方式安装docker, https://docs.docker.com/engine/install/centos/
sudo yum install -y yum-utils
sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo systemctl start docker
sudo docker run hello-world
三台服务器都需要安装docker。接着我们配置docker镜像加速
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://qkmogfd4.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
可以使用docker info 查看Registry Mirrors 是否成功配置了阿里云镜像。
安装cri-dockerd
安装go：https://go.dev/doc/install
cd /usr/local
# 下载 go1.20.3.linux-amd64.tar.gz 好像需要FQ，那么现在本地下载完后，上传到服务器/usr/local目录下
rm -rf /usr/local/go && tar -C /usr/local -xzf go1.20.3.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin # 可以把他放到类似/etc/profile文件中
go version
接着安装cri-dockerd，我将cri-dockerd安装在 /opt 目录下。
项目地址：https://github.com/Mirantis/cri-dockerd
安装git ：yum install git ，服务器访问github慢的，网上说的改hosts对我来说有用
git clone https://github.com/Mirantis/cri-dockerd.git
cd cri-dockerd
mkdir bin
go build -o bin/cri-dockerd # 这一步比较耗时，耐心等待
mkdir -p /usr/local/bin
install -o root -g root -m 0755 bin/cri-dockerd /usr/local/bin/cri-dockerd
cp -a packaging/systemd/* /etc/systemd/system
sed -i -e 's,/usr/bin/cri-dockerd,/usr/local/bin/cri-dockerd,' /etc/systemd/system/cri-docker.service
systemctl daemon-reload
systemctl enable cri-docker.service
systemctl enable --now cri-docker.socket
安装kubelet、kubeadm、kubectl
https://developer.aliyun.com/mirror/kubernetes/
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet
主节点部署
国内访问不了registry.k8s.io，我们用阿里云的镜像，我们使用命令：
kubeadm config images pull --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers --cri-socket=unix:///var/run/cri-dockerd.sock
接着k8s会获取registry.k8s.io前缀的镜像，那么我们：
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.27.1 \
registry.k8s.io/kube-apiserver:v1.27.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.27.1 \
registry.k8s.io/kube-scheduler:v1.27.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.27.1 \
registry.k8s.io/kube-controller-manager:v1.27.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.27.1 \
registry.k8s.io/kube-controller-manager:v1.27.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.10.1 \
registry.k8s.io/coredns:v1.10.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.7-0 \
registry.k8s.io/etcd:3.5.7-0
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6 \
registry.k8s.io/pause:3.6
-------------------------- 这个pause3.6和3.9建议都下载，我部署的时候总出问题
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 \
registry.k8s.io/pause:3.9
kubeadm init \
--apiserver-advertise-address=172.16.146.249 \
--control-plane-endpoint=k8s-master \
--image-repository [registry.cn-hangzhou.aliyuncs.com/](http://registry.cn-hangzhou.aliyuncs.com/)google_containers \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--pod-network-cidr=192.168.0.0/16 \
--v=5
生成kubeconfig文件
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
安装网络插件Calico
https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart
按照文档一步步安装即可，要注意的是 kubeadm init 时 pod-network-cidr网络地址。
如果你设置的不是192.168.0.0/16，那么需要在creating custom resource时，修改相应的值。
最终执行完后，我的主节点pod状态：
加入节点
进入到我的 172.16.146.248 k8s-node1 和 172.16.146.247 k8s-node2。将它们加入主节点
我的token过期了，因此我执行kubeadm token create拿到一个新的token。
discovery-token-ca-cert-hash可以通过如下命令获取：
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null |\
openssl dgst -sha256 -hex | sed 's/^.* //'
kubeadm join k8s-master:6443 --token ik594p.9jxv0yaohe9piqlj \
--discovery-token-ca-cert-hash sha256:c6f792668e27516e1425bac6e489503cd483c054793e08675e4b8109b9644058 \
--cri-socket=unix:///var/run/cri-dockerd.sock
等了很长时间，这些 pod还是没有running，使用命令查看日志：
kubectl describe pods kube-proxy-x75bt -n kube-system
看到是因为registry.k8s.io/pause:3.6拉取失败，我试了在新加的两个node机器上执行：
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6 registry.k8s.io/pause:3.6
接着回主节点查看pod状态，发现最终能够成功。
好了，部署过程还是有不少坑的，因为国内网络的问题。如果大家部署过程中有其他问题 ，欢迎评论区讨论。