526互联

LVS负载均衡群集——其二

发布时间 2023-09-09 17:28:12作者: Bacolate

LVS-DR

通信四元素：源IP，源端口，目的IP，目的端口

主机A（客户端）——>VIP 主机B（调度器）

主机A（客户端）<——VIP 主机C（节点服务器）

通信五元素：源IP，源端口，目的IP，目的端口，协议

image-20230909171324702

回环网卡lo配置的地址，其它端看不到

数据包流向分析: (1)客户端发送请求到 Director Server (负载均衡器)，请求的数据报文(源 P 是 CIP,目标 IP 是 VIP)到达内核空间。 (2)Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。 (3)内核空间判断数据包的目标1P是本机VIP，此时IPVS (IP 虚拟服务器)比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为Diretor Server 的 MAC地址，修改目标 MAC 地址为 Beal Server 的 MAC 地址，源 IP 地址与目标 IP地址没有改变，然后将数据包发送给 Beal Server。 (4) 到达 Beal Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo接口(回环网卡)传送给物理网卡然后向外发出。 (5) Real Server 直接将响应报文传送到客户端。

总结：

1）客户端通过VIP将访问请求发送到调度器

2）调度器通过调度算法选择分发请求的节点服务器，并重新封装数据报文，将源MAC改为调度器MAC地址，目的MAC地址改为节点服务器的MAC地址，再通过交换机转发给节点服务器

3）节点服务器收到请求报文后，确认目的MAC地址和目的IP无误后解包并送达到应用层进行处理

4）节点服务器要返回响应报文前，会先重新封装报文（源IP为VIP，目的IP为客户端IP），再将响应报文通过lo接口传送给物理网卡然后直接发送给客户端

客户端将数据只传给传给调度服务器而不是节点服务器，这一步依靠了ARP协议

ARP工作原理

  1. PC1想发送数据给PC2， 会先检查自己的ARP缓存表。 只在终端设备上

  2. 如果发现要查找的MAC地址不在表中，就会发送一个ARP请求广播，用于发现目的地的MAC地址。

  3. 交换机收到广播后做泛洪处理，除PC1外所有主机收到ARP请求消息，PC2以单播方式发送ARP应答， 并在自己的ARP表中缓存PC1的IP地址和MAC地址的对应关系，而其他主机则丢弃这个ARP请求消息。

  4. PC1在自己的ARP表中添加PC2的IP地址和MAC地址的对应关系，以单播方式与PC2通信。

LVS-DR中的ARP问题

1、节点服务器、调度服务器的VIP地址一致，都会响应交换机广播的ARP请求，会造成地址紊乱

解决思路：让节点服务器不响应ARP请求

解决手段：

  • 使用虚接口lo:0承载VIP地址

  • 设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

2、路由器根据ARP表项，会将新来的请求报文转发给节点服务器（RealServer）,导致原本调度服务器（Director）的VIP失效，导致后续数据传输变得困难

解决方式：

节点服务器（RealServer）返回响应数据使用另一IP地址，

解决ARP的两问题的设置方法

修改/etc/sysctl.conf文件

 net.ipv4.conf.lo.arp_ignore=1
 net.ipv4.conf.lo.arp_announce=1
 net.ipv4.conf.all.arp_ignore=2
 net.ipv4.conf.all.arp_announce=1

DR模式下LVS负载均衡群集部署

调度服务器（03号：ens33:192.168.177.103）

节点服务器（04号：192.168.177.104）（05号：192.168.177.105）

nfs服务器（06号：192.168.177.106）

配置NFS服务器

06号机（ens33:192.168.177.106）

 06号上
 关闭防火墙
 #安装软件包
 [root@localhost share]#yum install nfs-utils.x86_64 rpcbind -y
 ​
 #新建共享目录
 mkdir /opt/ky31 /opt/ky32
 ​
 echo "this is ky31 test web page!" >/opt/ky31/test.html
 echo "this is ky32 test web page!" >/opt/ky32/test.html
 #编写配置文件
 vim /etc/exports
 /opt/ky31 192.168.177.0/24(rw,sync,no_root_squash)#不要空格
 /opt/ky32 192.168.177.0/24(rw,sync,no_root_squash)
 #共享目录  网段               读写，同步，无root权限
 ​
 [root@localhost ~]# systemctl start rpcbind nfs
 [root@localhost ~]#exportfs -vr
 #不重启生效
 [root@localhost share]#exportfs -v
 #查看详细的nfs信息
 #exportfs 可用于管理nfs
 -v 查看本机所有nfs
 -r 重读配置文件
 -a 输出本机所有共享
 04号机使用nginx
 节点服务器挂载共享目录
 mount 192.168.177.106:/opt/ky31 /usr/share/nginx/html
 #       服务器地址   冒号 对方共享文件夹    本地挂载点
 [root@yml-4 ~]# showmount -e 192.168.177.106
 Export list for 192.168.177.106:
 /opt/ky32 192.168.177.0/24
 /opt/ky31 192.168.177.0/24
 ​
 05号机使用apache
 mount 192.168.177.106:/opt/ky32 /var/www/html
 [root@localhost ~]# showmount -e 192.168.177.106
 Export list for 192.168.177.106:
 /opt/ky32 192.168.177.0/24
 /opt/ky31 192.168.177.0/24
 ​
 #永久挂载
 04号机上
 vim /etc/nginx/conf.d/default.conf#去找根路径（/usr/share/nginx/html）
 vim /etc/fstab
 192.168.177.106:/opt/ky31   /usr/share/nginx/html   nfs     defaults,_netdev 0 0  
                             #网页服务根节点
 05号机上
 vim /etc/httpd/conf/httpd.conf#去找根路径（/var/www/html）
 vim /etc/fstab
 192.168.177.106:/opt/ky32   /var/www/html   nfs     defaults,_netdev 0 0  
                             #网页服务根节点

配置节点服务器

添加VIP虚拟IP

 04号机上
 cd /etc/sysconfig/network-scripts/
 [root@yml-4 network-scripts]# vim ifcfg-lo:0
 DEVICE=lo:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 #刷新管理服务
 [root@yml-4 network-scripts]# ifup lo:0
 05号机上
 cd /etc/sysconfig/network-scripts/
 [root@yml-4 network-scripts]# vim ifcfg-lo:0
 DEVICE=lo:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 #刷新管理服务
 [root@yml-4 network-scripts]# ifup lo:0

image-20230909150024832

添加路由，重复操作

 [root@localhost network-scripts]# route add -host 192.168.177.200 dev lo:0
 ​
 #永久添加，该文件下命令会开机时执行
 vim c/rc.d/rc.local
 /usr/sbin/route add -host 192.168.177.200 dev lo:0
 route -n#查看全部配置
 #该文件需要执行权限，这才可以开机自执行
 chmod +x /etc/rc.d/rc.local
 ​

image-20230909150819522

添加内核参数

 [root@localhost rc.d]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1
 net.ipv4.conf.lo.arp_announce = 1
 net.ipv4.conf.all.arp_ignore = 2
 net.ipv4.conf.all.arp_announce = 1
 [root@localhost rc.d]# sysctl -p#加载配置，刷新
 ​
 ​

配置负载调度器

03号机（ens33:192.168.177.103）

1）配置虚拟 IP 地址（VIP：192.168.177.200）

 [root@localhost ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
 ​
 DEVICE=ens33:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 ​
 [root@localhost ~]#ifup ens33:0
 ifconfig ens33:0

image-20230909160825505

2）调整 proc 响应参数

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，需要关闭 icmp 的重定向，不充当路由器。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

3）配置负载分配策略

安装
[root@localhost ~]#yum -y install ipvsadm
[root@localhost ~]#rpm -q ipvsadm
ipvsadm-1.27-8.el7.x86_64
#先备份
[root@localhost ~]#ipvsadm-save > /etc/sysconfig/ipvsadm
#启动
[root@localhost ~]#systemctl start ipvsadm
systemctl enable ipvsadm
#加载模块:不加载也会自动调用
[root@localhost ~]#modprobe ip_vs#加载通用模块


ipvsadm -C
ipvsadm -A -t 192.168.177.200:80 -s rr
ipvsadm -a -t 192.168.177.200:80 -r 192.168.177.104:80 -g			#若隧道模式，-g替换为-i
ipvsadm -a -t 192.168.177.200:80 -r 192.168.177.105:80 -g
ipvsadm#加载配置

ipvsadm -ln					#查看节点状态，Route代表 DR模式

image-20230909162035169

验证：

image-20230909162240380

后记

简述LVS三种工作模式，简述他们的区别? 答案: NAT：通过网络地址转换实现的虚拟服务器，大并发访问时，调度器的性能成为瓶颈 DR：使用路由技术实现虚拟服务器，节点服务器需要配置VIP，注意MAC地址广播 TUN：通过隧道方式实现虚拟服务器。

列举你知道的LVS调度算法? 答案: 轮询(Round Robin); 加权轮询（Weighted Round Robin）; 最少连接（Least Connections）; 加权最少连接（Weighted Least Connections）; 源地址哈希值（source hash）。

LVS调度器常见算法（均衡策略）？ LVS调度器用的调度方法基本分为两类： 固定调度算法：rr，wrr，dh，sh rr：轮询算法，将请求依次分配给不同的rs节点，即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。 wrr：加权轮训调度，依据不同RS的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。 dh：目的地址哈希调度（destination hashing）以目的地址为关键字查找一个静态hash表来获得所需RS。 sh：源地址哈希调度（source hashing）以源地址为关键字查找一个静态hash表来获得需要的RS。

动态调度算法：wlc，lc，lblc wlc：加权最小连接数调度，假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次去Ti/Wi为最小的RS作为下一个分配的RS。 lc：最小连接数调度（least-connection），IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS。 lblc：基于地址的最小连接数调度（locality-based least-connection）：将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。

 

LVS的工作模式及其工作过程：

LVS 有三种负载均衡的模式，分别是VS/NAT（nat 模式）、VS/DR（路由模式）、VS/TUN（隧道模式）。

1、NAT模式（VS-NAT）

原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）。真实服务器响应完请求后，查看默认路由，把响应后的数据包发送给负载均衡器，负载均衡器在接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。

优点：集群中的服务器可以使用任何支持TCP/IP的操作系统，只要负载均衡器有一个合法的IP地址。

缺点：扩展性有限，当服务器节点增长过多时，由于所有的请求和应答都需要经过负载均衡器，因此负载均衡器将成为整个系统的瓶颈。

2、直接路由模式（VS-DR）

原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求数据包的目标MAC地址改成后端真实服务器的MAC地址（R-MAC）。真实服务器响应完请求后，查看默认路由，把响应后的数据包直接发送给客户端，不需要经过负载均衡器。

优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，也能处理很巨大的请求量。

缺点：需要负载均衡器与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。

3、IP隧道模式（VS-TUN）

原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求报文封装一层IP隧道（T-IP）转发到真实服务器（RS）。真实服务器响应完请求后，查看默认路由，把响应后的数据包直接发送给客户端，不需要经过负载均衡器。

优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，也能处理很巨大的请求量。

缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持“IP Tunneling”。