快速搭建云原生开发环境（k8s+pv+prometheus+grafana）-526互联

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

欣宸正在为接下新的Java云原生实战系列原创做准备，既然是实战，少不了一套云原生环境，以下内容是必不可少的：

linux操作系统
kubernetes
kubernetes的外部存储，平时数据库、监控、消息这些中间件的数据不可能放在容器内，需要有个可靠的地方存起来不丢失
监控

一番操作下来，轻松完成了上述工作，这里将整个过程记录定下来，这样可以保证每次重装都能轻松愉快的完成，省下的时间用来写更多的技术原创

版本信息

本次安装的版本信息如下，供您参考

操作系统：CentOS 7.6 （腾讯云轻应用服务器）
kubernetes：1.22 （底层容器服务是docker）
prometheus：2.32.1
grafana：8.3.3

初始化

CentOS操作系统的安装就不在这里讲了，接下来的操作假设您已装好纯净的CentOS系统
本文中的操作都是用root账号执行的
安装ssh服务

sudo yum install openssh-server -y

修改root密码

sudo passwd root

修改ssh配置，允许root远程登录，文件是/etc/ssh/sshd_config，注意下图两个箭头指向的配置，确保您的值与之一致
安装常用软件：

yum install redhat-lsb lrzsz wget -y

关闭防火墙

systemctl stop firewalld && \
systemctl disable firewalld && \
setenforce 0

接下来可以安装k8s了，如果网速正常，可以采用k8s安装（在线下载镜像和文件）章节的方法，如果网络太慢，或者像我这样使用腾讯云服务器时发现下载文件太慢，可以采用k8s安装（使用离线的镜像和文件）章节的方法

k8s安装（在线下载镜像和文件）

为了简单省事儿，本次打算使用sealos安装K8S单机版，底层容器是docker
下载sealos，地址是：https://github.com/labring/sealos/releases/download/v4.1.3/sealos_4.1.3_linux_amd64.tar.gz
解压并存放到指定位置

tar -zxvf sealos_4.1.3_linux_amd64.tar.gz sealos &&  chmod +x sealos && mv sealos /usr/bin

然后一行命令安装k8s

sealos run labring/kubernetes-docker:v1.22.8-4.1.3 labring/helm:v3.8.2 labring/calico:v3.24.1 --single

等待三分钟左右，K8S单机版安装完成，控制台输出如下
查看系统pod，一切正常

[root@VM-12-12-centos k8s]# kubectl get pods -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-67b7856948-bg2wh          1/1     Running   0          12s
calico-apiserver   calico-apiserver-67b7856948-fz64n          1/1     Running   0          12s
calico-system      calico-kube-controllers-78687bb75f-z2r7m   1/1     Running   0          41s
calico-system      calico-node-l6nmw                          1/1     Running   0          41s
calico-system      calico-typha-b46ff96f6-qqzxb               1/1     Running   0          41s
calico-system      csi-node-driver-lv2g2                      2/2     Running   0          21s
kube-system        coredns-78fcd69978-57r7x                   1/1     Running   0          47s
kube-system        coredns-78fcd69978-psjcs                   1/1     Running   0          46s
kube-system        etcd-vm-12-12-centos                       1/1     Running   0          60s
kube-system        kube-apiserver-vm-12-12-centos             1/1     Running   0          61s
kube-system        kube-controller-manager-vm-12-12-centos    1/1     Running   0          62s
kube-system        kube-proxy-x8nhg                           1/1     Running   0          47s
kube-system        kube-scheduler-vm-12-12-centos             1/1     Running   0          60s
tigera-operator    tigera-operator-6f669b6c4f-t8t9h           1/1     Running   0          46s

由于是单机版，需要去除污点才能使用，执行以下命令

kubectl taint nodes --all node-role.kubernetes.io/master-

k8s安装（使用离线的镜像和文件）

如果您通过上面一段的操作顺利装好k8s，那么这一段内容可以直接跳过
我用的是腾讯云轻应用服务器，在安装过程中发现下载sealos的文件非常慢，于是使用了以下方法来提升安装速度，如果您遇到了同样问题也可以参考这种方法
为了简单省事儿，本次打算使用sealos安装K8S单机版，底层容器是docker
在CSDN下载四个文件，它们的下载地址如下，下载后存放在CentOS服务器上的同一个目录下（不要积分，免费下载）：

确认一下，四个文件名依次是：sealos_4.1.3_linux_amd64.tar.gz、helm.tar、calico.tar、kubernetes.tar
ssh进入上述四个文件的存放目录
首先是操作sealos_4.1.3_linux_amd64.tar.gz文件

tar zxvf sealos_4.1.3_linux_amd64.tar.gz sealos && chmod +x sealos && mv sealos /usr/bin

再用sealos工具加载其他三个文件

sealos load -i kubernetes.tar
sealos load -i helm.tar
sealos load -i calico.tar

此时，再执行以下命令安装k8s

sealos run labring/kubernetes-docker:v1.22.8-4.1.3 labring/helm:v3.8.2 labring/calico:v3.24.1 --single

等待三分钟左右，K8S单机版安装完成，控制台输出如下
查看系统pod，一切正常

[root@VM-12-12-centos k8s]# kubectl get pods -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-67b7856948-bg2wh          1/1     Running   0          12s
calico-apiserver   calico-apiserver-67b7856948-fz64n          1/1     Running   0          12s
calico-system      calico-kube-controllers-78687bb75f-z2r7m   1/1     Running   0          41s
calico-system      calico-node-l6nmw                          1/1     Running   0          41s
calico-system      calico-typha-b46ff96f6-qqzxb               1/1     Running   0          41s
calico-system      csi-node-driver-lv2g2                      2/2     Running   0          21s
kube-system        coredns-78fcd69978-57r7x                   1/1     Running   0          47s
kube-system        coredns-78fcd69978-psjcs                   1/1     Running   0          46s
kube-system        etcd-vm-12-12-centos                       1/1     Running   0          60s
kube-system        kube-apiserver-vm-12-12-centos             1/1     Running   0          61s
kube-system        kube-controller-manager-vm-12-12-centos    1/1     Running   0          62s
kube-system        kube-proxy-x8nhg                           1/1     Running   0          47s
kube-system        kube-scheduler-vm-12-12-centos             1/1     Running   0          60s
tigera-operator    tigera-operator-6f669b6c4f-t8t9h           1/1     Running   0          46s

由于是单机版，需要去除污点才能使用，执行以下命令

kubectl taint nodes --all node-role.kubernetes.io/master-

安装本地pv

本地pv的作用是给所有pvc提供存储空间
实测发现，安装本地pv的过程中，有两个镜像经常会拉取失败，建议您先下载tar到服务器，在服务器上通过docker load命令加载后再部署本地pv
请在CSDN下载两个镜像的tar文件，地址如下（不要积分，免费下载）

https://download.csdn.net/download/boling_cavalry/86908763 （下载后是个zip，解压后，文件夹里面才是真正的tar）
https://download.csdn.net/download/boling_cavalry/86908874 （下载后是个zip，解压后，文件夹里面才是真正的tar）

上述文件上传到CentOS，执行以下命令加载两个镜像

docker load < busybox.tar
docker load < local-pv.tar

下载本地pv的配置文件，地址是：https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.22/deploy/local-path-storage.yaml
然后打开此文件，做以下四步操作
第一，如下图，删除debug哪一行
第二，找到reclaimPolicy，将其值从Delete改为Retain
第三，增加下面这句，使当前storageclass成为默认的storageclass
第四，修改下图红色箭头位置，指向您自己电脑为pv准备的位置
设置完毕后，执行命令kubectl apply -f local-path-storage.yaml即可完成本地pv的创建
如下图红色箭头，新增的pv的pod
此时，k8s环境中的pvc，都可以使用storageClass=local-path来使用本地磁盘了

安装Prometheus+Grafana（下载配置文件）

接下来会用operator的方式部署Prometheus+Grafana，这是一种非常简单使用的方法
有几个镜像下载会超时，因此改为下载国内镜像，然后用tag命令改为同名镜像即可，命令如下：

docker pull docker.io/willdockerhub/prometheus-adapter:v0.9.1

docker tag docker.io/willdockerhub/prometheus-adapter:v0.9.1 k8s.gcr.io/prometheus-adapter/prometheus-adapter:v0.9.1

docker pull bolingcavalry/kube-state-metrics:v2.3.0

docker tag bolingcavalry/kube-state-metrics:v2.3.0 k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.3.0

现在要下载operator的配置文件了，打开Prometheus operator的GitHub主页，首先确认自己的kubernetes版本应该使用哪个版本的Prometheus operator，如下图，我这里的kubernetes是1.22版本，因此使用的operator应该是release-0.9或者release-0.10
在operator的release页面，找到release-0.10版本点击下载

安装Prometheus+Grafana（修改配置文件：对外暴露服务）

接下来对下载的配置文件做些修改
首先是修改Grafana的service文件，因为默认的service是ClusterIP类型，无法从kubernetes外部访问的，这里改成集群外也可以访问service，打开文件kube-prometheus-0.10.0/manifests/grafana-service.yaml，新增箭头所指的两行，注意31330端口是我随便找的一个可用端口，您也可以随意，在30000-32767之间即可
如果想通过外部访问prometheus，可以用上述同样的方法修改prometheus-service.yaml文件
另外，如果您像我一样是将服务部署在云上（我这里是腾讯云），就涉及到公网IP的使用，请查找文件grafana-networkPolicy.yaml，如果有就删除（0.10.0-release版本没有这个文件），如果不删除，就无发通过公网IP访问grafana
对于prometheus也是一样，如果想从公网IP访问prometheus，需要删除文件prometheus-networkPolicy.yaml

安装Prometheus+Grafana（配置外部存储）

解决了外部访问的问题，接下来是存储问题了，如果不将Prometheus和grafana的数据保存在容器外部的话，只要pod被删，数据就丢失了，这在很多场景下是不可接受的
既然前面咱们已经准备好了pv，那么这里就可以把prometheus和grafana的存储改为pvc，让它们的数据保存在pv上
首先修改prometheus的存储配置，打开文件prometheus-prometheus.yaml，如下图，红框内是新增内容（稍后我会把文字贴出来便于复制）
上图红框中的内容如下

  storage:
    volumeClaimTemplate:
      spec:
        storageClassName: local-path
        resources:
          requests:
            storage: 10Gi

接着是grafana的存储，进入目录kube-prometheus-0.10.0/manifests/setup，新增名为grafana-pvc.yaml的文件，内容如下：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: grafana
  namespace: monitoring
spec:
  storageClassName: local-path
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi

然后还要修改deployment配置，打开文件grafana-deployment.yaml，找到下图红色箭头所指内容
替换成下图红框中的内容

安装Prometheus+Grafana（数据采集权限）

需要给足prometheus权限，这样它才能采集到用于展示的数据，打开文件prometheus-clusterRole.yaml，新增一些权限配置，修改完毕后的完整内容如下所示，新增的位置主要在resources和varbs两处

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 2.32.1
  name: prometheus-k8s
  namespace: monitoring
rules:
- apiGroups:
  - ""
  resources:
  - nodes/metrics
  - services
  - endpoints
  - pods
  verbs:
  - get
  - list
  - watch
- nonResourceURLs:
  - /metrics
  verbs:
  - get

再执行以下操作，给prometheus增加管理员身份（可酌情选择）

kubectl create clusterrolebinding kube-state-metrics-admin-binding \
--clusterrole=cluster-admin  \
--user=system:serviceaccount:monitoring:kube-state-metrics

至此，配置已经修改完成，可以启动了

安装Prometheus+Grafana（安装和启动）

启动过程分为两步：先安装再启动
首先，回到prometheus/kube-prometheus-0.10.0目录，执行以下命令开始安装

kubectl apply --server-side -f manifests/setup

可能会遇到以下提示，我这边放心起见重复执行了一次安装命令，就没有此错误了

Error from server (NotFound): namespaces "monitoring" not found

接下来可以启动了，执行以下命令

kubectl apply -f manifests/

查看pod情况，如下图，大部分pod创建得很快，也有一两个稍微慢一点的，实测两三分钟可以全部ready
再去看看数据卷使用情况，如下图，已经分配好三个了
最后，如果您用的是云服务器，记得在公网放开端口，我这边是腾讯云服务器，放开方式如下图

访问grafana

现在可以访问grafana了，输入IP:端口，会提示输入账号密码，默认的账号密码都是admin
登录成功后会提示修改初始密码，按照提示操作即可
然后就进入grafana页面了，里面已经内置了很多监控数据，这里挑一个物理服务器信息的监控数据看看，如下图
再去看看给pv使用的服务器磁盘，如下所示，已经创建了三个文件夹，都是容器在用的

[root@VM-12-12-centos local-path-provisioner]# pwd
/opt/local-path-provisioner
[root@VM-12-12-centos local-path-provisioner]# ls -al
total 20
drwxr-xr-x  5 root root 4096 Nov  5 10:02 .
drwxr-xr-x. 7 root root 4096 Oct 31 08:29 ..
drwxrwxrwx  3 root root 4096 Nov  5 10:06 pvc-0b8b93ae-944c-4433-a904-71c00d65c8ad_monitoring_prometheus-k8s-db-prometheus-k8s-0
drwxrwxrwx  6 root root 4096 Nov  5 10:53 pvc-9a5dccda-673f-4db8-a64e-baf4df5006cf_monitoring_grafana
drwxrwxrwx  3 root root 4096 Nov  5 10:06 pvc-bccf40a7-59a5-4472-a6a3-65f4898255d6_monitoring_prometheus-k8s-db-prometheus-k8s-1

至此，k8s+pv+prometheus+grafana环境已经搭建完成，这样的环境离生产环境还差得远，但是作为日常开发和测试已经基本合格，如果您对云原生感兴趣，想要简单快速的从零开始搭建一套环境用于学习和研发，希望本文能给您提供一些参考
编写本文时，有些操作步骤参考了这位大佬的，在此表示感谢：http://www.javajun.net/posts/5019/index.html

欢迎关注博客园：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

prometheus grafana环境k8s

prometheus机制grafana k8s

prometheus k8s grafana k8

prometheus k8s k8 8s

grafana yaml k8s k8

prometheus dashboard 20211010 k8s

prometheus java k8s k8

监控系统prometheus系统k8s

集群grafana loki k8s

prometheus grafana环境linux