k8s节点宕机排查

发布时间 2023-05-30 15:52:40作者: 小懶小幸福℡

查看集群信息发现节点宕机

 

排查:
1、查看服务器的物理环境
free -mh/df -h
2、查看内存是否溢出,磁盘空间是否够用,经查均在正常使用范围内;
3、top查看cpu使用状态,在可用范围内;
4、再查master组件scheduer,controller-manager,apiserver等都在正常运行;
5、查看node详细信息
[root@master ~]# kubectl describe nodes w1

 

7、登录node所在机器
查看kubelet状态

虽显示启动状态,但下面的事项说明中表名他其实是启动失败了的。
查看日志:[root@node1 ~]# journalctl -u kubelet

发现报错:

"Failed to run kubelet" err="failed to run Kubelet: misconfiguration: kubelet cgroup driver: \"systemd\" is different from docker cgroup driver: \"cgroupfs\""
1
由此可知,kubernets所使用的驱动与docker所使用驱动不同,导致kubelet启动失败。
这里我们将docker驱动修改与kubelet驱动一致即可解决。
修改配置文件:
[root@node1 ~]# vim /etc/docker/daemon.json
添加如下配置即可

最后重启docker,kubelet即可
[root@node1 ~]# systemctl daemon-reload
[root@node1 ~]# systemctl restart docker
[root@node1 ~]# systemctl restart kubelet
回到master节点进行查验

node已为ready状态。