526互联

k8s 学习笔记之 Ingress

发布时间 2023-08-06 22:23:21作者: 三眠

Ingress介绍

在前面课程中已经提到，Service 对集群之外暴露服务的主要方式有两种：NotePort 和 LoadBalancer，但是这两种方式，都有一定的缺点：

  • NodePort 方式的缺点是会占用很多集群机器的端口，那么当集群服务变多的时候，这个缺点就愈发明显
  • LB 方式的缺点是每个 service 需要一个 LB，浪费、麻烦，并且需要 kubernetes 之外设备的支持

基于这种现状，kubernetes 提供了 Ingress 资源对象，Ingress 只需要一个 NodePort 或者一个 LB 就可以满足暴露多个 Service 的需求。工作机制大致如下图表示：

实际上，Ingress 相当于一个7层的负载均衡器，是 kubernetes 对反向代理的一个抽象，它的工作原理类似于 Nginx，可以理解成在Ingress里建立诸多映射规则，Ingress Controller 通过监听这些配置规则并转化成 Nginx 的反向代理配置 , 然后对外部提供服务。在这里有两个核心概念：

  • ingress：kubernetes 中的一个对象，作用是定义请求如何转发到 service 的规则
  • ingress controller：具体实现反向代理及负载均衡的程序，对ingress定义的规则进行解析，根据配置的规则来实现请求转发，实现方式有很多，比如 Nginx, Contour, Haproxy 等等

Ingress（以 Nginx 为例）的工作原理如下：

  1. 用户编写 Ingress 规则，说明哪个域名对应 kubernetes 集群中的哪个 Service
  2. Ingress 控制器动态感知 Ingress 服务规则的变化，然后生成一段对应的 Nginx 反向代理配置
  3. Ingress 控制器会将生成的 Nginx 配置写入到一个运行着的 Nginx 服务中，并动态更新
  4. 到此为止，其实真正在工作的就是一个 Nginx 了，内部配置了用户定义的请求转发规则

Ingress 使用

环境准备

搭建 Ingress 环境

# 创建文件夹
[root@k8s-master01 ~]# mkdir ingress-controller
[root@k8s-master01 ~]# cd ingress-controller/

# 获取 ingress-nginx，本次案例使用的是0.30版本
[root@k8s-master01 ingress-controller]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml
[root@k8s-master01 ingress-controller]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml

# 修改 mandatory.yaml 文件中的仓库
# 默认为 quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0，如果默认下载有问题的话，可以去网络上找镜像地址进行替换
# 创建 ingress-nginx
[root@k8s-master01 ingress-controller]# kubectl apply -f ./

# 查看 ingress-nginx
[root@k8s-master01 ingress-controller]# kubectl get pod -n ingress-nginx
NAME                                           READY   STATUS    RESTARTS   AGE
pod/nginx-ingress-controller-fbf967dd5-4qpbp   1/1     Running   0          12h

# 查看 service
[root@k8s-master01 ingress-controller]# kubectl get svc -n ingress-nginx
NAME            TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx   NodePort   10.98.75.163   <none>        80:32240/TCP,443:31335/TCP   54s

准备 service 和 pod

为了后面的实验比较方便，创建如下图所示的模型（此处需要你自行根据自己所使用后端框架更换 Deployment 配置的部分，我这里用的是 Golang，所以拉取 Golang 的环境来运行项目，且 volumes 配置中的 $PWD 选择自己对应项目的文件位置即可）

创建 webapp-nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx-pod
  template:
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
      - name: nginx
        image: nginx:1.17.1
        ports:
        - containerPort: 80
---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: webapp-deployment
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      app: webapp-pod
  template:
    metadata:
      labels:
        app: webapp-pod
    spec:
      containers:
      - name: webapp
        image: golang
        volumes: 
          - $PWD:/go/src/example/webapp
        ports:
          - containerPort: 8888
        command: go run /go/src/example/webapp/main.go

---

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  namespace: dev
spec:
  selector:
    app: nginx-pod
  clusterIP: None
  type: ClusterIP
  ports:
  - port: 80
    targetPort: 80

---

apiVersion: v1
kind: Service
metadata:
  name: webapp-service
  namespace: dev
spec:
  selector:
    app: webapp-pod
  clusterIP: None
  type: ClusterIP
  ports:
  - port: 8888
    targetPort: 8888

# 创建
[root@k8s-master01 ~]# kubectl create -f webapp-nginx.yaml

# 查看
[root@k8s-master01 ~]# kubectl get svc -n dev
NAME             TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
nginx-service    ClusterIP   None         <none>        80/TCP     48s
webapp-service   ClusterIP   None         <none>        8888/TCP   48s

Http代理

创建 ingress-http.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-http
  namespace: dev
spec:
  rules:
  - host: nginx.sanmian.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-service
          servicePort: 80
  - host: webapp.sanmian.com
    http:
      paths:
      - path: /
        backend:
          serviceName: webapp-service
          servicePort: 8888

# 创建
[root@k8s-master01 ~]# kubectl create -f ingress-http.yaml
ingress.extensions/ingress-http created

# 查看
[root@k8s-master01 ~]# kubectl get ing ingress-http -n dev
NAME           HOSTS                                  ADDRESS   PORTS   AGE
ingress-http   nginx.sanmian.com,webapp.sanmian.com             80      22s

# 查看详情
[root@k8s-master01 ~]# kubectl describe ing ingress-http  -n dev
...
Rules:
Host                Path  Backends
----                ----  --------
nginx.sanmian.com   / nginx-service:80 (10.244.1.96:80,10.244.1.97:80,10.244.2.112:80)
webapp.sanmian.com  / webapp-service:8888(10.244.1.94:8888,10.244.1.95:8888,10.244.2.111:8888)
...

# 接下来,在本地电脑上配置 host 文件,解析上面的两个域名到192.168.x.x(master 节点的 IP)上
即 hosts 文件中末尾添加 下面两行：
192.168.x.x(master 节点的 IP) nginx.sanmian.com
192.168.x.x(master 节点的 IP) webapp.sanmian.com

# 查看 ingress 在主机中映射的端口在哪里
[root@k8s-master01 ~]# kubectl describe ing ingress-http  -n dev
（假设此时 PORT(S) 项为 80:32240/TCP,443:31335/TCP）

# 然后,就可以分别访问 webapp.sanmian.com:32240  和  nginx.sanmian.com:32240 查看效果了

Https代理

创建证书

# 生成证书
openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=BJ/L=BJ/O=nginx/CN=sanmian.com"

# 创建密钥
kubectl create secret tls tls-secret --key tls.key --cert tls.crt

创建 ingress-https.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-https
  namespace: dev
spec:
  tls:
    - hosts:
      - nginx.sanmian.com
      - webapp.sanmian.com
      secretName: tls-secret # 指定秘钥
  rules:
  - host: nginx.sanmian.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-service
          servicePort: 80
  - host: webapp.sanmian.com
    http:
      paths:
      - path: /
        backend:
          serviceName: webapp-service
          servicePort: 8888

# 创建
[root@k8s-master01 ~]# kubectl create -f ingress-https.yaml
ingress.extensions/ingress-https created

# 查看
[root@k8s-master01 ~]# kubectl get ing ingress-https -n dev
NAME            HOSTS                                  ADDRESS         PORTS     AGE
ingress-https   nginx.sanmian.com,webapp.sanmian.com   10.104.184.38   80, 443   2m42s

# 查看详情
[root@k8s-master01 ~]# kubectl describe ing ingress-https -n dev
...
TLS:
  tls-secret terminates nginx.sanmian.com,webapp.sanmian.com
Rules:
Host              Path Backends
----              ---- --------
nginx.sanmian.com  /  nginx-service:80 (10.244.1.97:80,10.244.1.98:80,10.244.2.119:80)
webapp.sanmian.com /  webapp-service:8888(10.244.1.99:8888,10.244.2.117:8888,10.244.2.120:8888)
...

# 测试方法与上面 http 的测试方式一样