柚子快報邀請碼778899分享：運維 LVS負(fù)載均衡群集

http://yzkb.51969.com/

文章目錄

LVS負(fù)載均衡群集1 企業(yè)群集1.1 群集cluster的定義1.2 解決辦法1.3 企業(yè)群集分類1.4 概念1.4.1 負(fù)載均衡群集1.4.2 高可用群集1.4.3 高性能運算 群集

2 負(fù)載均衡2.1 負(fù)載均衡結(jié)構(gòu)2.2 負(fù)載均衡群集工作模式2.2.1 NAT模式2.2.2 TUN模式2.2.3 DR模式

3 LVS虛擬服務(wù)器3.1 負(fù)載均衡調(diào)度算法3.2 ipvsadm工具3.2.1 選項

4 LVS-NAT4.1 部署192.168.146.30（安裝nginx服務(wù)）4.2 部署192.168.146.50（安裝nginx服務(wù)）4.3 192.168.146.60（nfs共享）4.4 部署192.168.146.20做LVS調(diào)度器4.5 測試修改客戶端的模式也為vnate1 模式，并且修改ip地址

LVS負(fù)載均衡群集

1 企業(yè)群集

1.1 群集cluster的定義

由多臺主機構(gòu)成

但對外只表現(xiàn)為一個整體，只提供一個訪問入口

所以相當(dāng)于一臺大型的計算機

1.2 解決辦法

目前互聯(lián)網(wǎng)應(yīng)用中，隨著站點對硬件性能、響應(yīng)速度、服務(wù)穩(wěn)定性、數(shù)據(jù)可靠性等要求越來越高

單臺服務(wù)器已經(jīng)無法滿足負(fù)載均衡及高可用的要求

通常有以下兩個解決方法

縱向擴展

擴展CPU 內(nèi)存 使用價格昂貴的小型機、大型機 橫向擴展

使用多臺相對廉價的普通服務(wù)器構(gòu)建服務(wù)群集

1.3 企業(yè)群集分類

負(fù)載均衡群集高可用群集高性能運算群集

1.4 概念

1.4.1 負(fù)載均衡群集

提高應(yīng)用系統(tǒng)的響應(yīng)能力，盡可能處理更多的訪問請求，減少延遲為目標(biāo)，獲得高并發(fā)，高負(fù)載（LB ）的整體性能

LB的負(fù)載分配依賴于主節(jié)點的分流算法，將來自客戶機的訪問請求分擔(dān)給多個服務(wù)器節(jié)點，從而緩解整個系統(tǒng)的負(fù)載壓力，例如“DNS輪詢”，“反向代理”等

1.4.2 高可用群集

提高應(yīng)用系統(tǒng)的可靠性，盡可能的減少中斷時間為目標(biāo)，確保服務(wù)的連續(xù)性，達(dá)到高可用（HA）的容錯效果。

HA的工作方式包括雙工和主從兩種模式，雙工即所有節(jié)點同時在線，主從則只有主節(jié)點在線，但當(dāng)出現(xiàn)故障時從節(jié)點能自動切換為主節(jié)點，例如“故障切換”“雙機熱備”等

1.4.3 高性能運算 群集

以提高應(yīng)用系統(tǒng)的CPU運算速度，擴展硬件資源和分析能力為目標(biāo)，獲得相當(dāng)于大型，超級計算機的高性能運算（HPC）能力

高性能依賴于==“分布式運算”“并行計算”==，通過專用硬件和軟件將多個服務(wù)器的CPU，內(nèi)存等資源整合在一起，實現(xiàn)只有大型，超級計算機才具備的計算能力，例如“云計算”“網(wǎng)絡(luò)計算”等

2 負(fù)載均衡

2.1 負(fù)載均衡結(jié)構(gòu)

第一層 負(fù)載調(diào)度器

訪問整個群集系統(tǒng)的唯一入口，對外使用所有服務(wù)器共有的vip地址通常會配置主備兩臺調(diào)度器實現(xiàn)熱備份，當(dāng)主調(diào)度器失效以后能夠平滑替換至備用調(diào)度器，確保高可用性 第二層服務(wù)器池

群集所提供的應(yīng)用服務(wù)，由服務(wù)器池承擔(dān)，其中每個節(jié)點具有獨立的RIP地址（真實ip），只處理調(diào)度器分發(fā)過來的客戶機請求當(dāng)某個節(jié)點暫時失效時，負(fù)載調(diào)度器的容錯機制會將其隔離，等待錯誤排除以后再重新納入服務(wù)器池 第三層共享存儲

為服務(wù)器池中的所以節(jié)點提供穩(wěn)定，一致的文件存取服務(wù)，確保整個群集的統(tǒng)一性

2.2 負(fù)載均衡群集工作模式

2.2.1 NAT模式

類似于防火墻的私有網(wǎng)絡(luò)結(jié)構(gòu)，負(fù)載調(diào)度器作為所有服務(wù)器節(jié)點的網(wǎng)關(guān)，即作為客戶機的訪問入口，也是各節(jié)點回應(yīng)客戶機的訪問出口

2.2.2 TUN模式

采用開放式的網(wǎng)絡(luò)結(jié)構(gòu)，負(fù)載調(diào)度器僅作為客戶機的訪問入口，各節(jié)點通過各自的Internet連接直接回應(yīng)客戶機，而不在經(jīng)過負(fù)載調(diào)度器

2.2.3 DR模式

采用半開放式的網(wǎng)絡(luò)結(jié)構(gòu)，與TUN模式的結(jié)構(gòu)累死，但各節(jié)點并不是分散在各地，而是與調(diào)度器位于同一個物理網(wǎng)絡(luò)

負(fù)載調(diào)度器與各節(jié)點服務(wù)器通過本地網(wǎng)絡(luò)連接，不需要建立專用的ip隧道

3 LVS虛擬服務(wù)器

LinuxVirtualServer

LVS實際是相當(dāng)于基于IP地址的虛擬化應(yīng)用

基于IP地址和內(nèi)容請求分發(fā)

LVS現(xiàn)在已成為Linux內(nèi)核的一部分，默認(rèn)編譯為ip_vs模塊，必要時能夠自動調(diào)用。在CentOS7系統(tǒng)中，以下操作可以手動加載ip_vs模塊，并查看當(dāng)前系統(tǒng)中ip_vs模塊的版本信息

[root@localhost ~]# modprobe ip_vs

#手動加載

[root@localhost ~]# cat /proc/net/ip_vs

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

#確認(rèn)內(nèi)核對LVS的支持

[root@localhost ~]# cd /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs/

[root@localhost ipvs]# ls

ip_vs_dh.ko.xz ip_vs.ko.xz ip_vs_lblcr.ko.xz ip_vs_nq.ko.xz ip_vs_rr.ko.xz ip_vs_sh.ko.xz ip_vs_wrr.ko.xz

ip_vs_ftp.ko.xz ip_vs_lblc.ko.xz ip_vs_lc.ko.xz ip_vs_pe_sip.ko.xz ip_vs_sed.ko.xz ip_vs_wlc.ko.xz

[root@localhost ipvs]# ls |grep -o "^[^.]*"

ip_vs_dh

ip_vs_ftp

ip_vs

ip_vs_lblc

ip_vs_lblcr

ip_vs_lc

ip_vs_nq

ip_vs_pe_sip

ip_vs_rr

ip_vs_sed

ip_vs_sh

ip_vs_wlc

ip_vs_wrr[root@localhost ipvs]# for i in $(ls |grep -o "^[^.]*")

> do

> echo $i

> modprobe $i

#使用for循環(huán)，一次性加載

3.1 負(fù)載均衡調(diào)度算法

輪詢rr

將收到的訪問請求按照順序輪流分配給群集中的各節(jié)點（真實服務(wù)器），均等的對待每一個服務(wù)器，而不管服務(wù)器實際的連接數(shù)和系統(tǒng)負(fù)載 加權(quán)輪詢wrr

根據(jù)調(diào)度器設(shè)置的權(quán)重值分發(fā)請求，權(quán)重值高的節(jié)點優(yōu)先獲得任務(wù)，分配的請求數(shù)越多 保證性能強的服務(wù)器承擔(dān)更多的訪問流量 最小連接least conn

根據(jù)真實服務(wù)器已建立的連接數(shù)進行分配，將收到的訪問請求優(yōu)先分配給連接數(shù)最少的節(jié)點 加權(quán)最少連接wlc

服務(wù)器節(jié)點性能差異較大時，可以為真實服務(wù)器自動調(diào)整權(quán)重

3.2 ipvsadm工具

創(chuàng)建虛擬服務(wù)器添加刪除服務(wù)器節(jié)點查看群集及節(jié)點情況保存負(fù)載均衡策略

3.2.1 選項

-A：添加虛擬服務(wù)器

-D：刪除整個虛擬fuwq

-s：指定負(fù)載調(diào)度算法（輪詢，加權(quán)輪詢，最少連接，加權(quán)最少連接，wlc）

-a：表示添加真實服務(wù)器（節(jié)點服務(wù)器）

-d：刪除某一個節(jié)點

-t：指定VIP地址及TCP端口

-r：指定RIP地址及TCP端口

-m：表示使用NAT群集模式

-g：表示使用DR模式

-i：表示使用TUN模式

-w：設(shè)置權(quán)重（權(quán)重為0時表示暫停節(jié)點）

-p60：表示保持長連接60秒

-l：列表查看LVS虛擬服務(wù)器（默認(rèn)為查看所有）

-n：以數(shù)字形式顯示地址，端口等信息，常與“-l”選項組合使用

4 LVS-NAT

準(zhǔn)備四臺虛擬機

192.168.146.20做LVS調(diào)度器

192.168.146.30做nginx

192.168.146.50做nginx

192.168.146.60做nfs共享存儲

4.1 部署192.168.146.30（安裝nginx服務(wù)）

cd /etc/yum.repo.d/

將nginx的包拉進去

yum -y install nginx

cd /etc/nginx/

vim nginx.conf

可以發(fā)現(xiàn)，他的默認(rèn)server塊在conf.d配置文件中

cd conf.d/

vim default.conf

找到他的網(wǎng)頁根目錄在/usr/share/nginx/html

將網(wǎng)頁根目錄下的所有東西，復(fù)制到共享存儲服務(wù)器中

scp * 192.168.146.60:/opt

等共享存儲服務(wù)器完成操作后

showmount -e 192.168.146.60

#掛載到共享服務(wù)器（臨時掛載）

mount 192.168.146.60:/opt/html /usr/share/nginx/html/

#到指定目錄查看是否已經(jīng)共享

cd /usr/share/nginx/html/

systemctl start nginx

4.2 部署192.168.146.50（安裝nginx服務(wù)）

cd /etc/yum.repo.d/

將nginx的包拉進去

yum -y install nginx

#永久掛載到共享目錄

vim /etc/fstab

192.168.146.60:/opt/html /usr/share/nginx/html nfs defaults,_netdev 0 0

systemctl start nginx

為了以示區(qū)分，在共享文件的虛擬機中，重新創(chuàng)建了一個共享文件

umount /usr/share/nginx/html/

vim /etc/fstab

192.168.146.60:/opt/www /usr/share/nginx/html nfs defaults,_netdev 0 0

4.3 192.168.146.60（nfs共享）

mkdir html #做網(wǎng)頁共享目錄

mv *.html html

cd /opt/html

vim game.html

this is nfs share web page!

#檢查兩個服務(wù)是否已經(jīng)安裝，如果未安裝，可以用yum直接安裝

rpm -q nfs-utils rpcbind

systemctl enable --now rpc-rquotad.service nfs

vim /etc/exports

/opt/html 192.168.146.0/24(rw,sync,no_root_squash)

chmod 777 html/ #系統(tǒng)用戶也需要有權(quán)限

exportfs -arv #在線發(fā)布共享目錄，不需要重啟。如果通過重啟來發(fā)布共享目錄，可能會導(dǎo)致已經(jīng)掛載的客戶端出現(xiàn)卡死現(xiàn)象

systemctl stop firewalld.service

setenforce 0

因為目前30和50的主機都用的同一個目錄來共享文件的，不太好區(qū)別，所以可以用兩個目錄來區(qū)分開

cp -r html/ www

chmod 777 www

vim /etc/exports

/opt/html 192.168.146.0/24(rw,sync,no_root_squash)

/opt/www 192.168.146.0/24(rw,sync,no_root_squash)

exportfs -arv

cd /www

vim game.html

this is www share web page!

4.4 部署192.168.146.20做LVS調(diào)度器

先添加一張網(wǎng)卡

vim ifcfg-ens36

TYPE=Ethernet

DEVICE=ens36

ONBOOT=yes

BOOTPROTO=static

IPADDR=12.0.0.10

NETMASK=255.255.255.0

vim ifcfg-ens33

TYPE=Ethernet

DEVICE=ens33

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.146.20

NETMASK=255.255.255.0

#GATEWAY=192.168.146.2

#DNS1=192.168.146.2

由于在nat模式下，所以需要將兩個節(jié)點服務(wù)器30和50的網(wǎng)關(guān)設(shè)置為調(diào)度器的地址

192.168.146.30

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet

DEVICE=ens33

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.146.30

NETMASK=255.255.255.0

GATEWAY=192.168.146.20

#DNS1=192.168.146.2

systemctl restart network

192.168.146.50

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet

DEVICE=ens33

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.146.50

NETMASK=255.255.255.0

GATEWAY=192.168.146.20

#DNS1=192.168.146.2

systemctl restart network

設(shè)置ip轉(zhuǎn)發(fā)功能

vim /etc/sysctl.conf

net.ipv4.ip_forward=1

sysctl -p #加載

iptables -F && iptables -t nat -F #清空iptables規(guī)則

iptables -t nat -A POSTROUTING -s 192.168.146.0/24 -o ens36 -j SNAT --to 12.0.0.10

iptables -nL -t nat

modprobe ip_vs #加載模塊(此實驗只要加載一個通用的就可以了）

如果想加載全部，就去/usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs/

用for循環(huán)，遍歷加載

for i in $(ls ./)

do

a=$(echo $i | awk -F. '{print $1}')

modprobe $a

echo "$a"

done

yum -y install ipvsadm

如果直接啟動ipvsadm會報錯

/var/log/messages查看一下，原因是缺少/etc/sysconfig/ipvsadm這個文件，所以我們可以手動給他添加一下

ipvsadm-save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm

配置負(fù)載分配策略（NAT模式只要在調(diào)度器上配置，節(jié)點服務(wù)器不需要特殊配置）

ipvsadm -ln #查看是否有規(guī)則

ipvsadm -C #清楚現(xiàn)有規(guī)則

ipvsadm -A -t 12.0.0.10:80 -s rr #添加一個虛擬服務(wù)器

ipvsadm -a -t 12.0.0.10:80 -r 192.168.146.30:80 -m #添加節(jié)點服務(wù)器

ipvsadm -a -t 12.0.0.10:80 -r 192.168.146.50:80 -m

ipvsadm #啟用

4.5 測試修改客戶端的模式也為vnate1 模式，并且修改ip地址

柚子快報邀請碼778899分享：運維 LVS負(fù)載均衡群集

http://yzkb.51969.com/

好文推薦