个人随笔
目录
网站抗住大流量的终极架构：lvs+keepalived+nginx环境搭建
2023-08-14 21:59:29

前面我们学会了nginx环境搭建，keeplived+nginx环境搭建，lvs+nginx环境搭建，这里进行终极搭建lvs+keepalived+nginx

背景

开始我们网站小，可能一个tomcat服务器就可以了

后面随着访问数上升，一个tomcat不行了，那么就用Nginx做个负载均衡

后面随着用户访问上升，一个Nginx也不行了，有单点故障

后面随着用户访问上升，需要对Nginx进行横向扩容，加入第四层的负载均衡解决方案LVS

用户继续上升，LVS又会达到瓶颈，需要用DNS轮询.这里可以根据机房，地域轮询等，已经是做到极致了。所以终极环境就是lvs+keepalived+nginx。lvs最终是多个主备。

准备

各种虚拟机准备克隆等
nginx-1.22.1在linux服务器上的安装和使用
keepalived+nginx实现高可用实战(双机主备，双主热备)
LVS+Nginx环境搭建(DR模式)

只需要对keepalived的配置文件进行修改即可，毕竟keepalived和lvs完美兼容

搭建lvs+keepalived+nginx跟lvs+nginx还是有点区别的，不需要在LVS服务器(DR)构建虚拟IP。keepalived会帮忙搞定。但是还是需要在在两台nginx(SR)构建虚拟IP。

主lvs

  1. ! Configuration File for keepalived
  3. global_defs {
  4.    router_id LVS_15
  5. }
  7. vrrp_instance VI_1 {
  8.     state MASTER
  9.     interface ens33
  10.     virtual_router_id 17
  11.     priority 100
  12.     advert_int 1
  13.     authentication {
  14.         auth_type PASS
  15.         auth_pass 1111
  16.     }
  17.     virtual_ipaddress {
  18.         192.168.192.17
  19.     }
  20. }
  22. #配置集群地址访问的IP+端口，端口和nginx保持一致，这个就是对应的LVS(DR)
  23. virtual_server 192.168.192.17 80 {
  24.     #健康检查的时间，单位：秒
  25.     delay_loop 6
  26.     #配置负载均衡的算法：rr（轮询）
  27.     lb_algo rr
  28.     #设置lvs的模式：NAT/TUN/DR 我们用的是DR
  29.     lb_kind DR
  30.     #设置会话持久化时间
  31.     persistence_timeout 5
  32.     #协议，其实就是-t
  33.     protocol TCP
  34.     #负载均衡的真实服务器 这个就是对应两台Ngixn(RS)
  35.     real_server 192.168.192.11 80 {
  36.         #轮询默认权重为1
  37.         weight 1
  38.     #设置健康检查
  39.                TCP_CHECK {
  40.             #检查的80端口
  41.             connect_port 80
  42.             #超时时间:秒
  43.                         connect_timeout 2
  44.             #重试次数
  45.                         nb_get_retry 2
  46.             #间隔时间:秒
  47.                         delay_before_retry 3
  48.         }
  49.     }
  50.     real_server 192.168.192.12 80 {
  51.         weight 1
  52.         #设置健康检查
  53.                TCP_CHECK {
  54.             #检查的80端口
  55.             connect_port 80
  56.             #超时时间:秒
  57.                         connect_timeout 2
  58.             #重试次数
  59.                         nb_get_retry 2
  60.             #间隔时间:秒
  61.                         delay_before_retry 3
  62.         }   
  63.     }
  64. }

备lvs

  1. ! Configuration File for keepalived
  3. global_defs {
  4.    router_id LVS_16
  5. }
  7. vrrp_instance VI_1 {
  8.     state BACKUP
  9.     interface ens33
  10.     virtual_router_id 17
  11.     priority 80
  12.     advert_int 1
  13.     authentication {
  14.         auth_type PASS
  15.         auth_pass 1111
  16.     }
  17.     virtual_ipaddress {
  18.         192.168.192.17
  19.     }
  20. }
  22. #配置集群地址访问的IP+端口，端口和nginx保持一致，这个就是对应的LVS(DR)
  23. virtual_server 192.168.192.17 80 {
  24.     #健康检查的时间，单位：秒
  25.     delay_loop 6
  26.     #配置负载均衡的算法：rr（轮询）
  27.     lb_algo rr
  28.     #设置lvs的模式：NAT/TUN/DR 我们用的是DR
  29.     lb_kind DR
  30.     #设置会话持久化时间
  31.     persistence_timeout 5
  32.     #协议，其实就是-t
  33.     protocol TCP
  34.     #负载均衡的真实服务器 这个就是对应两台Ngixn(RS)
  35.     real_server 192.168.192.11 80 {
  36.         #轮询默认权重为1
  37.         weight 1
  38.     #设置健康检查
  39.                TCP_CHECK {
  40.             #检查的80端口
  41.             connect_port 80
  42.             #超时时间:秒
  43.                         connect_timeout 2
  44.             #重试次数
  45.                         nb_get_retry 2
  46.             #间隔时间:秒
  47.                         delay_before_retry 3
  48.         }
  49.     }
  50.     real_server 192.168.192.12 80 {
  51.         weight 1
  52.         #设置健康检查
  53.                TCP_CHECK {
  54.             #检查的80端口
  55.             connect_port 80
  56.             #超时时间:秒
  57.                         connect_timeout 2
  58.             #重试次数
  59.                         nb_get_retry 2
  60.             #间隔时间:秒
  61.                         delay_before_retry 3
  62.         }   
  63.     }
  64. }

重启测试

先把之前lvs+nginx的配置清除

  1. ipvsadm -C

启动keepalived

  1. systemctl start keepalived

查看效果

  1. [root@localhost etc]# ipvsadm -Ln
  2. IP Virtual Server version 1.2.1 (size=4096)
  3. Prot LocalAddress:Port Scheduler Flags
  4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  5. TCP  192.168.192.17:80 rr persistent 5
  6.   -> 192.168.192.11:80            Route   1      0          0         
  7.   -> 192.168.192.12:80            Route   1      0          0

双机热备

其实就是跟keepalived的双机热备差不多，只不过RS(两台Nginx)需要多加个虚拟IP，这里假设用的是192.168.192.18，则在两台nginx(11,12)进行如下操作

  1. cd /etc/sysconfig/network-scripts/
  2. cp ifcfg-lo:1 ifcfg-lo:2
  3. vi ifcfg-lo:2

输入如下内容

  1. DEVICE=lo:2
  2. IPADDR=192.168.192.18
  3. NETMASK=255.255.255.255
  4. NETWORK=127.0.0.0
  5. # If you're having problems with gated making 127.0.0.0/8 a martian,
  6. # you can change this to something else (255.255.255.255, for example)
  7. BROADCAST=127.255.255.255
  8. ONBOOT=yes
  9. NAME=loopback

进行刷新

  1. ifup lo

依然需要添加路由

  1. route add -host 192.168.192.18 dev lo:2

两台lvs的配置文件
lvs01

  1. ! Configuration File for keepalived
  3. global_defs {
  4.    router_id LVS_15
  5. }
  7. vrrp_instance VI_1 {
  8.     state MASTER
  9.     interface ens33
  10.     virtual_router_id 17
  11.     priority 100
  12.     advert_int 1
  13.     authentication {
  14.         auth_type PASS
  15.         auth_pass 1111
  16.     }
  17.     virtual_ipaddress {
  18.         192.168.192.17
  19.     }
  20. }
  21. vrrp_instance VI_2 {
  22.     state BACKUP
  23.     interface ens33
  24.     virtual_router_id 18
  25.     priority 80
  26.     advert_int 1
  27.     authentication {
  28.         auth_type PASS
  29.         auth_pass 1111
  30.     }
  31.     virtual_ipaddress {
  32.         192.168.192.18
  33.     }
  34. }
  36. #配置集群地址访问的IP+端口，端口和nginx保持一致，这个就是对应的LVS(DR)
  37. virtual_server 192.168.192.17 80 {
  38.     #健康检查的时间，单位：秒
  39.     delay_loop 6
  40.     #配置负载均衡的算法：rr（轮询）
  41.     lb_algo rr
  42.     #设置lvs的模式：NAT/TUN/DR 我们用的是DR
  43.     lb_kind DR
  44.     #设置会话持久化时间
  45.     persistence_timeout 5
  46.     #协议，其实就是-t
  47.     protocol TCP
  48.     #负载均衡的真实服务器 这个就是对应两台Ngixn(RS)
  49.     real_server 192.168.192.11 80 {
  50.         #轮询默认权重为1
  51.         weight 1
  52.     #设置健康检查
  53.                TCP_CHECK {
  54.             #检查的80端口
  55.             connect_port 80
  56.             #超时时间:秒
  57.                         connect_timeout 2
  58.             #重试次数
  59.                         nb_get_retry 2
  60.             #间隔时间:秒
  61.                         delay_before_retry 3
  62.         }
  63.     }
  64.     real_server 192.168.192.12 80 {
  65.         weight 1
  66.         #设置健康检查
  67.                TCP_CHECK {
  68.             #检查的80端口
  69.             connect_port 80
  70.             #超时时间:秒
  71.                         connect_timeout 2
  72.             #重试次数
  73.                         nb_get_retry 2
  74.             #间隔时间:秒
  75.                         delay_before_retry 3
  76.         }   
  77.     }
  78. }
  79. #配置集群地址访问的IP+端口，端口和nginx保持一致，这个就是对应的LVS(DR)
  80. virtual_server 192.168.192.18 80 {
  81.     #健康检查的时间，单位：秒
  82.     delay_loop 6
  83.     #配置负载均衡的算法：rr（轮询）
  84.     lb_algo rr
  85.     #设置lvs的模式：NAT/TUN/DR 我们用的是DR
  86.     lb_kind DR
  87.     #设置会话持久化时间
  88.     persistence_timeout 5
  89.     #协议，其实就是-t
  90.     protocol TCP
  91.     #负载均衡的真实服务器 这个就是对应两台Ngixn(RS)
  92.     real_server 192.168.192.11 80 {
  93.         #轮询默认权重为1
  94.         weight 1
  95.     #设置健康检查
  96.                TCP_CHECK {
  97.             #检查的80端口
  98.             connect_port 80
  99.             #超时时间:秒
  100.                         connect_timeout 2
  101.             #重试次数
  102.                         nb_get_retry 2
  103.             #间隔时间:秒
  104.                         delay_before_retry 3
  105.         }
  106.     }
  107.     real_server 192.168.192.12 80 {
  108.         weight 1
  109.         #设置健康检查
  110.                TCP_CHECK {
  111.             #检查的80端口
  112.             connect_port 80
  113.             #超时时间:秒
  114.                         connect_timeout 2
  115.             #重试次数
  116.                         nb_get_retry 2
  117.             #间隔时间:秒
  118.                         delay_before_retry 3
  119.         }   
  120.     }
  121. }

lvs02

  1. ! Configuration File for keepalived
  3. global_defs {
  4.    router_id LVS_16
  5. }
  7. vrrp_instance VI_1 {
  8.     state BACKUP
  9.     interface ens33
  10.     virtual_router_id 17
  11.     priority 80
  12.     advert_int 1
  13.     authentication {
  14.         auth_type PASS
  15.         auth_pass 1111
  16.     }
  17.     virtual_ipaddress {
  18.         192.168.192.17
  19.     }
  20. }
  21. vrrp_instance VI_2 {
  22.     state MASTER
  23.     interface ens33
  24.     virtual_router_id 18
  25.     priority 100
  26.     advert_int 1
  27.     authentication {
  28.         auth_type PASS
  29.         auth_pass 1111
  30.     }
  31.     virtual_ipaddress {
  32.         192.168.192.18
  33.     }
  34. }
  36. #配置集群地址访问的IP+端口，端口和nginx保持一致，这个就是对应的LVS(DR)
  37. virtual_server 192.168.192.17 80 {
  38.     #健康检查的时间，单位：秒
  39.     delay_loop 6
  40.     #配置负载均衡的算法：rr（轮询）
  41.     lb_algo rr
  42.     #设置lvs的模式：NAT/TUN/DR 我们用的是DR
  43.     lb_kind DR
  44.     #设置会话持久化时间
  45.     persistence_timeout 5
  46.     #协议，其实就是-t
  47.     protocol TCP
  48.     #负载均衡的真实服务器 这个就是对应两台Ngixn(RS)
  49.     real_server 192.168.192.11 80 {
  50.         #轮询默认权重为1
  51.         weight 1
  52.     #设置健康检查
  53.                TCP_CHECK {
  54.             #检查的80端口
  55.             connect_port 80
  56.             #超时时间:秒
  57.                         connect_timeout 2
  58.             #重试次数
  59.                         nb_get_retry 2
  60.             #间隔时间:秒
  61.                         delay_before_retry 3
  62.         }
  63.     }
  64.     real_server 192.168.192.12 80 {
  65.         weight 1
  66.         #设置健康检查
  67.                TCP_CHECK {
  68.             #检查的80端口
  69.             connect_port 80
  70.             #超时时间:秒
  71.                         connect_timeout 2
  72.             #重试次数
  73.                         nb_get_retry 2
  74.             #间隔时间:秒
  75.                         delay_before_retry 3
  76.         }   
  77.     }
  78. }
  80. #配置集群地址访问的IP+端口，端口和nginx保持一致，这个就是对应的LVS(DR)
  81. virtual_server 192.168.192.18 80 {
  82.     #健康检查的时间，单位：秒
  83.     delay_loop 6
  84.     #配置负载均衡的算法：rr（轮询）
  85.     lb_algo rr
  86.     #设置lvs的模式：NAT/TUN/DR 我们用的是DR
  87.     lb_kind DR
  88.     #设置会话持久化时间
  89.     persistence_timeout 5
  90.     #协议，其实就是-t
  91.     protocol TCP
  92.     #负载均衡的真实服务器 这个就是对应两台Ngixn(RS)
  93.     real_server 192.168.192.11 80 {
  94.         #轮询默认权重为1
  95.         weight 1
  96.     #设置健康检查
  97.                TCP_CHECK {
  98.             #检查的80端口
  99.             connect_port 80
  100.             #超时时间:秒
  101.                         connect_timeout 2
  102.             #重试次数
  103.                         nb_get_retry 2
  104.             #间隔时间:秒
  105.                         delay_before_retry 3
  106.         }
  107.     }
  108.     real_server 192.168.192.12 80 {
  109.         weight 1
  110.         #设置健康检查
  111.                TCP_CHECK {
  112.             #检查的80端口
  113.             connect_port 80
  114.             #超时时间:秒
  115.                         connect_timeout 2
  116.             #重试次数
  117.                         nb_get_retry 2
  118.             #间隔时间:秒
  119.                         delay_before_retry 3
  120.         }   
  121.     }
  122. }

然后重启keepalived即可

  1. systemctl restart keepalived

查看目前的lvs配置

  1. [root@localhost ~]# ipvsadm -Ln
  2. IP Virtual Server version 1.2.1 (size=4096)
  3. Prot LocalAddress:Port Scheduler Flags
  4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  5. TCP  192.168.192.17:80 rr persistent 5
  6.   -> 192.168.192.11:80            Route   1      2          0         
  7.   -> 192.168.192.12:80            Route   1      0          0         
  8. TCP  192.168.192.18:80 rr persistent 5
  9.   -> 192.168.192.11:80            Route   1      0          0         
  10.   -> 192.168.192.12:80            Route   1      0          0

可以看到有两组了。

然后在浏览器访问VIP：http://192.168.192.17/和http://192.168.192.18/分别渠道了11和12.
完美！

 104

啊！这个可能是世界上最丑的留言输入框功能~


当然，也是最丑的留言列表

有疑问发邮件到 : suibibk@qq.com 侵权立删
Copyright : 个人随笔   备案号 : 粤ICP备18099399号-2