LVS+Keepalived群集

LVS+Keepalived群集

Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP（VIP），主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

keepalived工具是一款健康检查工具。

• 支持故障自动切换

• 支持节点健康状态检查

判断LVS负载调度服务器、节点服务器的可用性，当master故障及时切换到backup保证业务正常

一个合格的集群应该具备以下几个特性：

1）负载均衡（lvs、nginx、HAProxy、F5）

2）健康检查(调度器、节点服务器、keepalived、heartbeat)

3）故障转换(主备切换)

健康检查（探针）

1）发送心跳消息 ping/pong

2）TCP端口检查 向一个主机的IP:PORT 发;起 TCP连接

3）HTTP URL检查 向一个主机的 http://IP:PORT/URL路径 发送HTTP GET请求方法，主机响应返回2XX 3XX状态码则认为健康检查正常，如果响应返回4XX 5XX状态码则认为健康检查异常

实现原理

采用VRRP热备份协议实现Linux服务器的多机热备功能

解释：VRRP（虚拟路由冗余协议）针对路由器的一种备份方案

• 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。

• 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态。

• 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。

Keepalived体系主要模块及其作用： keepalived体系架构中主要有三个模块，分别是core、check和vrrp。 ●core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。 ●vrrp模块：是来实现VRRP协议的。（调度器之间的健康检查和主备切换） ●check模块：负责健康检查，常见的方式有端口检查及URL检查。（节点服务器的健康检查）

LVS 部署

1.配置负载调度器（主、备相同）

 systemctl stop firewalld.service
 setenforce 0
 #网关服务器安装工具
 yum -y install ipvsadm keepalived
 modprobe ip_vs
 cat /proc/net/ip_vs

（1）配置keeplived（主、备DR 服务器上都要设置）

 cd /etc/keepalived/
 #备份
 cp keepalived.conf keepalived.conf.bak
 #修改文件配置
 vim keepalived.conf

文件详情：（备服务器略微修改）

 ......
 global_defs {                       #定义全局参数
 --10行--修改，邮件服务指向本地
     smtp_server 127.0.0.1
 --12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
     router_id LVS_01
 --14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
     #vrrp_strict
 }注意：未操作的参数请保留
 ​
 vrrp_instance VI_1 {                #定义VRRP热备实例参数
 --20行--修改，指定热备状态，主为MASTER，备为BACKUP
     state MASTER
 --21行--修改，指定承载vip地址的物理接口
     interface ens33
 --22行--修改，指定虚拟路由器的ID号，每个热备组保持一致 
     virtual_router_id 10
     #nopreempt      #如果设置非抢占模式，两个节点state必须为BACKUP，并加上配置 nopreempt
 --23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
     priority 100
     advert_int 1                    #通告间隔秒数(心跳频率)
     authentication {                #定义认证信息,每个热备组保持一致
         auth_type PASS              #认证类型
 --27行--修改，指定验证密码，主备服务器保持一致
         auth_pass abc123
     }
     virtual_ipaddress {             #指定群集vip地址
         192.168.177.200
     }
 }
 --36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
 virtual_server 192.168.177.200 80 {
     delay_loop 6                    #健康检查的间隔时间(秒)
     lb_algo rr                      #指定调度算法，轮询(rr)
 --39行--修改，指定群集工作模式，直接路由(DR)
     lb_kind DR
     persistence_timeout 0           #连接保持时间(秒)
     protocol TCP                    #应用服务采用的是 TCP协议
 --43行--修改，指定第一个Web节点的地址、端口
     real_server 192.168.177.104 80 {
         weight 1                    #节点的权重
 --45行--删除，添加以下健康检查方式        
         TCP_CHECK {
             connect_port 80         #添加检查的目标端口
             connect_timeout 3       #添加连接超时(秒)
             nb_get_retry 3          #添加重试次数
             delay_before_retry 3    #添加重试间隔
         }
     }
 ​
     real_server 192.168.177.105 80 {        #添加第二个 Web节点的地址、端口
         weight 1
         TCP_CHECK {
             connect_port 80
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
 ##删除后面多余的配置##
 }
 ​
 ​
 systemctl start keepalived
 ip addr                     #查看虚拟网卡vip

启动服务

 systemctl status keepalived.service
 ​
 ip addr#查看VIP

相同配置文件可以远程拷贝过去

scp 192.168.177.103:/opt/keepalived

拷贝前，对面也要先备份

（2）启动 ipvsadm 服务

 192.168.177.102
 ​
 ipvsadm-save > /etc/sysconfig/ipvsadm
 systemctl start ipvsadm
 ​
 ipvsadm -ln
 ​
 192.168.177.103
 ​
 ipvsadm-save > /etc/sysconfig/ipvsadm
 systemctl start ipvsadm
 ​
 ipvsadm -ln

（3）调整 proc 响应参数，关闭Linux 内核的重定向参数响应

 vim /etc/sysctl.conf#修改内核参数

 net.ipv4,ip_forward=0
 net.ipv4.conf.all.send_redirects = 0
 net.ipv4.conf.default.send_redirects = 0
 net.ipv4.conf.ens33.send_redirects = 0

 sysctl -p#刷新，并查看配置

2.配置节点服务器

添加VIP虚拟IP

 #关防火墙
 systemctl stop firewalld
 setenforce 0
 #安装apache服务
 yum -y install httpd
 systemctl start httpd
 #配置两台节点服务器
 --192.168.177.104---
 echo 'this is kgc web!' > /var/www/html/index.html
 ​
 --192.168.177.105---
 echo 'this is benet web!' > /var/www/html/index.html
 ​
 vim /etc/sysconfig/network-scripts/ifcfg-lo:0
 DEVICE=lo:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 ​
 service network restart 或 systemctl restart network
 #刷新管理服务
 ifup lo:0
 ifconfig lo:0
 #添加路由
 route add -host 192.168.177.200 dev lo:0
 #添加内核参数
 vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 #加载配置，刷新
 sysctl -p

脑裂？

脑裂现象：主服务器和备服务器同时拥有 VIP

脑裂原因：因为主服务器和备服务器之间的通信链路中断，导致备服务器无法正常收到主服务器发送的VRRP心跳报文

脑裂的解决：关闭主服务器或者备服务器其中一个的keepalived服务

脑裂的预防：

1）主服务器与备服务器之间添加双通信链路

2）在主服务器上定义运行脚本判断与备服务器通信链路是否中断，如果中断则自行关闭keepalived服务

3）利用第三方监控软件检测是否发生脑裂故障，如果发生则通过监控软件关闭主或者备服务器上的keepalived服务

Nginx+Keepalived

1、调度服务器安装nginx

改配置

 vim /etc/nginx/nginx.conf
 #与http{...}同级
 stream {
     upstream backend {
         server 192.168.177.104:80;#节点服务器地址端口
         server 192.168.177.105:80;
     }
     server {
         listen 8080;
         proxy_pass backend;
     }
 }
 ​

启动nginx服务

 如果nginx服务提前开启，先关闭
 #检查
 netstat -lntp |grep nginx
 #关闭
 killall nginx
 #开启
 systemctl start nginx

2、安装keepalived

改配置(vim /etc/keepalived/keepalived.conf)

 ! Configuration File for keepalived
 ​
 global_defs {
    notification_email {
      acassen@firewall.loc
      failover@firewall.loc
      sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id NGINX_01#更改文件名nginx_id
    vrrp_skip_check_adv_addr
    #vrrp_strict#记得注释
    vrrp_garp_interval 0
    vrrp_gna_interval 0
 }#添加脚本文件，一起启动
 vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    weight 2
 }
 ​
 vrrp_instance VI_1 {#修改文件id
     state MASTER#配置主备状态
     interface ens33#修改网卡名
     virtual_router_id 51
     priority 100
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 1111
     }
     virtual_ipaddress {
         192.168.177.200#修改vip
     }#添加脚本启动命令
     track_script {
         check_nginx
     }
 }
 ​
 ​

3、实现高可用

利用脚本(vim /etc/keepalived/chech_nginx.sh)

 !/bin/bash
 ​
 if ! killall -0 nginx &> /dev/null
 then
     systemctl stop keepalived
 fi

两台nginx实现负载均衡，

keepalived服务实现故障转移、主备切换；

配置脚本，实现健康检查。实现以上三功能的集群才算合格。

脚本原理：某台nginx故障无法正常启动后，直接关闭keepalived服务,即在通道中只有正常的nginx做主。

问答

1、keepalived基于什么协议——VRRP

2、怎么选举master——1、看state状态；2、优先级

Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。 然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。 优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址。

3、怎么生成vip？

keepalived自动生成

4、怎么故障切换？

备收不到主的心跳报文，自己成主

5、抢占模式和非抢占模式如何工作？

抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP 非抢占式俩节点state必须为bakcup，且必须配置nopreempt。 注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。

6、如何配置非抢占模式？

两个备，再加一句nopreempt

7、脑裂现象是什么？

主备同时拥有VIP地址

8、产生脑裂的原因是什么？

备收不到主的心跳报文，可能是网络中断、防火墙拦截掉了等

9、脑裂的解决办法是什么？

关闭一方keepalived服务

10、脑裂的预防方案是什么？

1）搭建双链路

2）脚本检测，发现

3）第三方监控软件

11、如何健康检查调度器和节点服务器？

节点服务器通过URI路径、http协议、tcp端口检查；

调度服务器中，LVS基于内核转发，能启动就能用；nginx利用健康检测脚本筛选检查。

本栏目推荐文章
• nfs和nginx+keepalived
• openEuler欧拉配置Nginx Keepalived主从和双主
• TDSQL(MySQL版本)使用虚拟机配置LVS遇到的问题及解决 && 涉及的网络命令分析
• ngix+keepalived+k8s
• keepalived故障
• Keepalived 安装 配置 Nginx 高可用
• Keepalived 高可用详解
• Nginx+keepalived实现高可用负载群集
• LVS+KEEPALIVED
• Keepalived 安装

Keepalived LVSkeepalived lvs keepalived架构lvs keepalived实战lvs keepalived lvs 16 集群keepalived企业lvs keepalived linux lvs 可用性 集群keepalived lvs 集群keepalived keepalive lvs 集群keepalived lvs lvs