来自 电脑知识 2019-10-09 20:49 的文章
当前位置: 威尼斯国际官方网站 > 电脑知识 > 正文

威尼斯国际官方网站集群及高可用

1》集群:

         随着互联网的发展,大量的客户端请求蜂拥而至,同时服务器的负载也越来越大,然而单台服务器的负载又是有限的,这样就会导致服务器响应客户端请求的时间越长,           甚至产生拒绝服务的情况;另外目前的网站多数是7*24小时提供不间断网络服务,如果仅采用单点服务器对外提供网络服务,那么在出现单点故障时,将导致整个网络服务中             断,这时我们需要部署集群架构,最终将成百上千台主机有机地结合在一起,以满足当前大数据时代的海量访问负载。在部署集群环境时可以选择的产品有很多,有些是基于             硬件实现的,有些是基于软件实现的,其中负载均衡的硬件设备有F5的GIG-IP,Radware的AppDirector,以及梭子鱼的负载均衡设备等;软件有基于Linux的LVS,Nginx和                       HAProxy等产品,在集群环境中的核心是负载均衡以及高可用;

2》LVS负载均衡简介:

         LVS(Linux   Virtual   Server)即Linux虚拟服务器,目前LVS已经被集成到Linux内核模块中,该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案,终端互联网            用户从外部访问公司的外部负载均衡服务器,终端用户的WEB请求会发送给LVS调度器,调度器根据自己预设的算法决定将请求发送给后端的某台WEB服务器,比如轮询算法           可以将外部的请求平均分发给后端的所有服务器,终端用户访问LVS调度器虽然会被转发到后端真实的服务器,但如果真实服务器连接的是相同的存储,提供的服务也都是相同           的服务,最终用户不管访问哪台真实的服务器,得到的服务内容都是一样的,整个集群对用户而言都是透明的,最后根据LVS工作模式的不同,真实服务器会选择不同的方式将           用户所需要的数据发送给终端用户,LVS工作模式分为NAT模式,TUN模式以及DR模式;

    1>基于NAT的LVS负载均衡:

           NAT即网络地址转换,其作用是通过数据报头的修改,使位于企业内部的私有IP可以访问外网,以及外部用户可以访问位于公司内部的私有IP地址主机,VS/NAT                         工作模式是LVS负载调度器使用两块网卡配置不同的IP地址,eth0设置为私钥IP与内部网络通过交换设备相互连接,eth1设置为外网IP与外部网络连通;

            第一步:用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网IP地址,相对于真实服务器而言,LVS的外网IP又称为VIP(Virtual  IP   Address),用户                                                  通过访问VIP,即可连接后端的真实服务器,而这一切对用户而言都是透明的,用户以为自己访问的就是真实的服务器,但他并不知道自己访问的VIP仅                                                  仅是一个调度器,也不清楚后端的真实服务器到底在哪里,有多少台真实服务器;

         第二步:用户将数据请求发送至外网IP地址,此时LVS将根据预设的算法选择后端的一台真实服务器,将数据请求包发送给真实服务器,并且在转发之前LVS会                                                     修改数据包中的目标地址以及目标端口,目标地址与目标端口将被修改为选中的真实服务器IP地址以及相应的端口; 

         第三步:真实的服务器将响应数据包返回给LVS调度器,调度器在得到响应数据包后会将源地址与源端口修改为VIP及调度器相应的端口,修改完成后,由调度器                                                  将响应数据包发送给终端用户,另外由于LVS调度器有一个连接Hash表,该表中会记录连接请求及转发信息,当同一个连接的下一个数据包发送给调度                                                    器时,从该Hash表中可以直接找到之前的连接记录,并根据该记录信息选出相同的真实服务器及端口信息;

    2>基于TUN的LVS负载均衡:

            在LVS(NAT)模式的集群环境中,由于所有的数据请求及响应的数据包都需要经过LVS调度器转发,如果后端服务器的数量大于10台,则调度器就会成为整个                                集群环境的瓶颈,我们知道数据请求包往往远远小于响应数据包的大小,因为响应数据包中包含有客户端需要的具体数据,所以LVS(TUN)的思路就是将请求与响                                应数据分离,让调度器仅处理数据请求,而让真实服务器将响应数据包直接返回给客户端,VS/TUN工作模式中的IP隧道(IP tunning)是一种数据包封装技术,它                                可以将原始数据包封装并添加新的包头(内容包括新的源地址及端口,目标地址及端口),从而实现将一个目标为调度器VIP的数据包封装,通过隧道转发给后端的                             真实服务器,通过将客户端发送调度器的原始数据包封装,并在其基础上添加新的数据包头(修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口),                             LVS(TUN)模式要求真实服务器可以直接与外部网络连接,真实服务器在收到请求数据包后直接给客户端主机响应数据;

    3>基于DR的LVS负载均衡:

          在LVS(TUN)模式下,由于需要在LVS调度器与真实服务器之间创建隧道连接,这同样会增加服务器的负担,与LVS(TUN)类似,DR模式也叫直接路由模式,该模                            式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器,最终由后端真实服务器负责将响应数据包发送返回给客户端,与隧道模式不同的是,直接路                         由模式要求调度器与后端服务器必须在一个局域网内,VIP地址需要在调度器与后端所有的服务器间共享,因为最终的真实服务器给客户端回应数据包时需要设置源地                            址为VIP地址,目标IP为客户端IP,这样客户端访问的是调度器的VIP地址,回应的源地址也依然是该VIP地址(真实服务器上的VIP),客户端是感觉不到后端服务器                          存在的,由于多台计算机都设置了同样一个VIP地址,所以在直接路由模式中要求调度器的VIP地址是对外可见的,客户端需要将请求数据包发送到调度器主机,而所                           有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上,也就是该网络设备并不会向外广播自己的MAC及对应的IP地址,真实服务器的VIP对外界是不可见的,                          但真实服务器却可以接收目标地址为VIP的网络请求,并在回应数据包时将源地址设置为该VIP地址,调度器根据算法在选出真实服务器后,在不修改数据报文的情况                            下,将数据帧的MAC地址修改为选出的服务器的MAC地址,通过交换机将该数据帧转发给真实服务器,整个过程中,真实服务器的VIP不需要对外界可见;

      ******因为调度器与真实服务器都设置了VIP地址,所以这里要求所有的真实服务器要禁止对VIP地址的ARP响应,方法是通过arp_ignore与arp_announce来实现的:

          vim   /etc/sysctl.conf

          net.ipv4.conf.eth0.arp_ignore = 1

          net.ipv4.conf.eth0.arp_announce = 2

          net.ipv4.conf.all.arp_ignore = 1

          net.ipv4.conf.all.arp_announce = 2

          sysctl  -p

3》LVS复制均衡调度算法:

      根据前面的介绍,我们了解了LVS的三种模式,但不管实际环境中采用的是哪种模式,调度器进行调度的策略与算法都是LVS的核心技术,LVS在内核中主要实现了以下              八种调度算法:

         轮询调度;

         加权轮询调度;

         最小连接调度;

         加权最小连接调度;

         基于局部性最少的连接;

         带复制的基于局部性最少连接;

         目标地址散列调度;

          源地址散列调度;

      轮询算法(RR):按依次循环的方式将请求调度到不同的服务器上,该算法最大的特定就是实现简单,轮询算法假设所有的服务器处理请求的能力都是一样的,调度器会                                                   将所有的请求平均分配给每个真实服务器;  

      加权轮询算法(WRR):主要是对轮询算法的一种优化与补充,LVS会考虑每台服务器的性能,并给每台服务器添加一个权值,如果服务器A的权值为1,服务器B的权值                                                                为2,则调度器调度到服务器B的请求回事服务器A的两倍,权值越高的服务器,处理的请求越多; 

      最小连接调度算法(LC):把请求调度到连接数最小的服务器上,而加权最小连接算法(WLC)则是给每个服务器一个权值,调度器会尽可能保持服务器连接数量与权值                                                                之间的平衡;  

      基于局部性的最少连接调度算法(lblc):是请求数据包的目标IP地址的一种调度算法,该算法先根据请求的目标IP地址寻找最近目标IP地址所使用的服务器,如果这台服                                                                                          务器依然可用,并且有能力处理该请求,调度器会尽量选择相同的服务器,否则会继续选择其他可行的服务器;带复制的基于局                                                                                           部性最少连接算法记录的不是一个目标IP与一台服务器之间连接记录,它会维护一个目标IP到一组服务器之间的映射关系,防止                                                                                         单点服务器负载过高; 

    目标地址散列调度算法(DH):是根据目标IP地址通过散列函数将目标IP与服务器建立映射关系,出现服务器不可用或负载过高的情况下,发往该目标IP的请求会固定发给                                                                      该服务器;

    源地址散列调度算法(SH):与目标地址散列调度算法类似,但它是根据源地址散列算法进行行静态分配固定的服务器资源;

4》部署LVS服务:

       LVS现在已经集成在Linux内核模块中,但整个LVS环境中又分为内核层与用户层,内核层复制核心算法的实现,用户层需要安装ipvsadm工具,通过命令将管理员需要                    的工作模式与实现算法传递给内核来实现,LVS的内核模块名称为Ip_vs,我们可以使用YUM方式安装ipvsadm,也可以自行去官网下载使用源码安装;

    1>YUM安装:

        YUM安装需要确保本机可以连接YUM源,可以从YUM源中下载RPM格式软件包;

         yum  -y  install  ipvsadm

    2>源码安装:

          源码安装需要使用YUM安装相关的依赖软件包,Ipvsadm源码软件可以从官方网站下载,下载后使用标准的make,make install,编译,安装即可;

      #yum  -y  install  gcc popt   popt-devel  popt-static  libn1  libn1-devel

      #wget  

      #tar  -xvf  ipvsadm-1.26.tar.gz  -C   /usr/src

      #cd  /usr/src/ipvsadm-1.26

      #make

        #make  install

       3>相关命令:

               无论使用哪种方式安装ipvsadm软件,安装完成后都会生成一个同名的命令工具,我们需要使用该命令来管理配置LVS虚拟服务器组和相应的调度算法;

      ipvsadm命令的描述和用法如下:

      描述:Linux虚拟服务器管理工具;

      用法:ipvsadm    选项    服务器地址    -s     算法

            ipvsadm    选项    服务器地址     -r     真实服务器地址【工作模式】【权重】

      选项:

         -A    添加一个虚拟服务,使用IP地址,端口号,协议来唯一定义一个虚拟服务;

           -E     编辑一个虚拟服务;

           -D     删除一个虚拟服务

           -C     清空虚拟服务表

           -R     从标准输入中还原虚拟服务规则

          -S       保存虚拟服务规则至标准输出,输出的规则可以使用-R导入还原

           -a       在虚拟服务中添加一台真实服务器

           -e       在虚拟服务中编辑一台真实服务器

           -d       在虚拟服务中减少一台真实服务器

           -L       显示虚拟服务列表

           -t        使用TCP服务,该参数后需要跟主机与端口信息

                -u      使用UDP服务,该参数后需要跟主机与端口信息

           -s     指定LVS所采用的调度算法

           -r      设置真实服务器IP地址与端口信息

          -g      设置LVS工作模式为DR直连路由模式

          -i       设置LVS工作模式为TUN隧道模式

          -m       设置LVS工作模式为NAT地址转换模式

         -w       设置指定服务器的权重

         -c        连接状态,需要配合-L使用

         -n      数字格式输出

                    命令示例:

          添加一个虚拟服务,设置调度算法为轮询,所有使用的TCP协议访问124.126.147.168的80端口的请求,最终被调度器通过NAT模式转发给了                                                   192.168.0.1,192.168.0.2,192.168.0.3这三台主机的80端口:   

             

威尼斯国际官方网站 1

       service  ipvsadm  save     保存调度规则

                          sed  -l  /ip_forward/s/0/1/   /etc/sysctl.conf    重新加载sysctl.conf

      查看LVS规则表:

           威尼斯国际官方网站 2

     查看当前IPVS调度状态:

         威尼斯国际官方网站 3

    删除为虚拟服务提供WEB功能的真实服务器192.168.0.3:         

      [root@hadoop-master ~]# ipvsadm -d -t 124.126.147.168:80 -r 192.168.0.3

    虚拟服务规则表备份与还原:

         威尼斯国际官方网站 4

    修改虚拟服务的调度算法:        

      [root@hadoop-master ~]# ipvsadm -E -t 124.126.147.168:80 -s wrr

    创建一个使用WRR算法的虚拟服务,工作模式为直接路由(DR)模式,在该虚拟服务上添加两台真实服务器,并为每台真实服务器设置权重:

           威尼斯国际官方网站 5

 

5》常见问题分析:

      1>路由转发功能:

          在LVS(NAT)工作模式中,LVS调度器必须能够提供数据转发功能,而系统默认的规则没有开启路由转发功能,需要手动修改/etc/sysctl.conf文件开启该功能;

      2>在LVS(NAT)工作模式中,调度器处理担当调度的角色外,还需要担当路由的角色,但系统的防火墙转发规则默认禁止转发,因此需要将转发规则清空:

            iptables  -F

            Iptables  -X

            service  iptables  save

      3>在LVS(DR)工作模式下,由于所有的真实服务器都配置了VIP地址,因此需要设置服务器不进行针对VIP地址的ARP广播,Linux中可以直接通过arp_ignore与                                          arp_announce来实现;

        arp_ignore用来定义网卡在响应外部ARP请求时的响应级别:

           0:默认值,任何网络接口收到ARP请求后,如果本机的任意接口有该MAC,则予以响应;

           1:某个网络接口收到ARP请求后,判断请求的MAC地址是否是本接口,是则回应,否则不回应,LVS调度器会将客户请求转发给真实服务器的eth0接口,而                                                真实服务器的VIP地址配置在回环设备上;

         arp_announce用来定义网卡广播ARP包时的级别:

          0:默认值,任何网络接口接收到ARP请求后,如果本机的任意接口有该MAC,则予以响应;

          1:尽量避免响应MAC地址非本网络接口MAC地址的ARP请求;

          2:不响应MAC地址非本网络接口MAC地址的ARP请求; 

 

本文由威尼斯国际官方网站发布于电脑知识,转载请注明出处:威尼斯国际官方网站集群及高可用

关键词: