柚子快報激活碼778899分享：運維 LVS 負載均衡集群

http://yzkb.51969.com/

本章主要內(nèi)容：

了解群集的結(jié)構(gòu)與工作模式了解 LVS 負載均衡群集原理學會配置 NFS 共享服務(wù)學會構(gòu)建 LVS-NAT 負載均衡群集

????????在各種互聯(lián)網(wǎng)應用中，隨著站點對硬件性能、響應速度、服務(wù)穩(wěn)定性、數(shù)據(jù)可靠性等要求越來越高，單臺服務(wù)器已經(jīng)無法滿足負載均衡及高可用的要求。除了使用價格昂貴的大型機、專用負載分流設(shè)備以外，企業(yè)還有另外一種選擇來解決難題，那就是構(gòu)建群集服務(wù)器— —通過整合多臺服務(wù)器，使用 LVS 來達到服務(wù)器的高可用和負載均衡，并以同一個 IP 地址對外提供相同的服務(wù)。

????????本章將要學習在企業(yè)中常用的一種群集技術(shù)——LVS（Linux Virtual Server，Linux 虛擬服務(wù)器）。

?

1.1 LVS群集應用基礎(chǔ)

????????群集的稱呼來自于英文單詞“Cluster”，表示一群、一串的意思，用在服務(wù)器領(lǐng)域則表示大量服務(wù)器的集合體，以區(qū)分于單個服務(wù)器。本節(jié)將對群集的結(jié)構(gòu)、工作模式、LVS 虛擬應用，以及 NFS 共享存儲介紹及使用。

1.1.1 群集技術(shù)概述

????????根據(jù)實際企業(yè)環(huán)境的不同，群集所提供的功能也各不相同，采用的技術(shù)細節(jié)也可能各有千秋。然而從整體上來看，需要先了解一些關(guān)于群集的共性特征，才能在構(gòu)建和維護群集的工作中做到心中有數(shù)，避免操作上的盲目性。

1.群集的類型

????????無論是哪種群集，都至少包括兩臺節(jié)點服務(wù)器，而對外表現(xiàn)為一個整體，只提供一個訪問入口。根據(jù)群集所針對的目標差異，可分為以下三種類型。

負載均衡群集（Load Balance Cluster）：以提高應用系統(tǒng)的響應能力、盡可能處理更多的訪問請求、減少延遲為目標，獲得高并發(fā)、高負載的整體性能。例如，“DNS輪詢”“應用層交換”“反向代理”等都可用作負載均衡群集。LB 的負載分配依賴于主節(jié)點的分流算法，將來自客戶機的訪問請求分擔給多個服務(wù)器節(jié)點，從而緩解整個系統(tǒng)的負載壓力。

高可用群集（High Availability Cluster）：以提高應用系統(tǒng)的可靠性、盡可能地減少中斷時間為目標，確保服務(wù)的連續(xù)性，達到高可用（HA）的容錯效果。例如，“故障切換”“雙機熱備”“多機熱備”等都屬于高可用群集技術(shù)。HA 的工作方式包括雙工和主從兩種模式。雙工即所有節(jié)點同時在線；主從則只有主節(jié)點在線，但當出現(xiàn)故障時從節(jié)點能自動切換為主節(jié)點。

高性能運算群集（High Performance Computer Cluster）：以提高應用系統(tǒng)的 CPU運算速度、擴展硬件資源和分析能力為目標，獲得相當于大型、超級計算機的高性

能運算（HPC）能力。例如，“云計算”“網(wǎng)格計算”也可視為高性能運算的一種。高性能運算群集的高性能依賴于“分布式運算”“并行計算”，通過專用硬件和軟件將多個服務(wù)器的 CPU、內(nèi)存等資源整合在一起，實現(xiàn)只有大型、超級計算機才具備的計算能力。

2. 負載均衡的分層結(jié)構(gòu)

????????在典型的負載均衡群集中，包括三個層次的組件，如圖 1.1 所示。前端至少有一個負載調(diào)度器（Load Balancer，或稱為 Director）負責響應并分發(fā)來自客戶機的訪問請求；后端由大量真實服務(wù)器（Real Server）構(gòu)成服務(wù)器池（Server Pool），提供實際的應用服務(wù)，整個群集的伸縮性通過增加、刪除服務(wù)器節(jié)點來完成，而這些過程對客戶機是透明的；為了保持服務(wù)的一致性，所有節(jié)點使用共享存儲設(shè)備。

> 第一層，負載調(diào)度器：這是訪問整個群集系統(tǒng)的唯一入口，對外使用所有服務(wù)器共有的 VIP（Virtual IP 虛擬IP）地址，也稱為群集IP地址。通常會配置主，備 兩臺調(diào)度器實現(xiàn)熱備份，當主調(diào)度器失效以后能夠平滑替換至備用調(diào)度器，確保高可用性。

> 第二層，服務(wù)器池：群集所提供的應用服務(wù)（如 HTTP，F(xiàn)TP）由服務(wù)器池承擔，其中每個節(jié)點具有獨立的 RIP（Real IP，真實IP）地址，只處理調(diào)度器分發(fā)過來的客戶機請求，當某個節(jié)點暫時失效時，負載調(diào)度器的容錯機制將其隔離，等待錯誤排除以后再重新納入服務(wù)器池。

> 第三次，共享存儲：為服務(wù)器池中的所有節(jié)點提供穩(wěn)定，一致的文件存取服務(wù)，確保整個群集的統(tǒng)一性。在 Linux/UNIX 環(huán)境中，共享存儲可以使用 NAS設(shè)備，或者提供 NFS（Network File System，網(wǎng)絡(luò)文件系統(tǒng)）共享服務(wù)的專用服務(wù)器

3.負載均衡的工作模式

????????關(guān)于群集的負載調(diào)度技術(shù)，可以基于 IP、端口、內(nèi)容等進行分發(fā)，其中基于 IP 的負載調(diào)度是效率最高的?；?IP 的負載均衡模式中，常見的有地址轉(zhuǎn)換、IP 隧道和直接路由三種工作模式，如圖 1.2 所示。

地址轉(zhuǎn)換（Network Address Translation）：簡稱 NAT 模式，類似于防火墻的私有網(wǎng)絡(luò)結(jié)構(gòu)，負載調(diào)度器作為所有服務(wù)器節(jié)點的網(wǎng)關(guān)，即作為客戶機的訪問入口，也是各節(jié)點回應客戶機的訪問出口。服務(wù)器節(jié)點使用私有IP地址，與負載調(diào)度器位于同一個物理網(wǎng)絡(luò)，安全性要優(yōu)于其他兩種方式IP隧道（IP Tunnel）：簡稱 TUN 模式，采用開放式的網(wǎng)絡(luò)結(jié)構(gòu)，負載調(diào)度器僅作為客戶機的訪問入口，各節(jié)點通過各自的 Internet 連接直接回應客戶機，而不再經(jīng)過負載調(diào)度器。服務(wù)器節(jié)點分散在互聯(lián)網(wǎng)中的不同位置，具有獨立的公網(wǎng)IP地址，通過專用的 IP 隧道于負載調(diào)度器相互通信

直接路由（Direct Routing）：簡稱 DR 模式，采用半開放式的網(wǎng)絡(luò)結(jié)構(gòu)，與 TUN 模式的結(jié)構(gòu)類似，但各節(jié)點并不是分散在各地，而是與調(diào)度器位于同一個物理網(wǎng)絡(luò)。負載調(diào)度器與各節(jié)點服務(wù)器通過本地網(wǎng)絡(luò)連接，不需要建立專用的 IP 隧道。

????????以上三種工作模式中，NAT 方式只需要一個公網(wǎng) IP 地址，從而成為最易用的一種負載均衡模式，安全性也比較好，許多硬件負載均衡設(shè)備就采用這種方式。相比較而言，DR 模式和 TUN 模式的負載能力更加強大，適用范圍更廣，但節(jié)點的安全性要稍差一些。

1.1.2 LVS 虛擬服務(wù)器

????????Linux Virtual Server 是針對 Linux 內(nèi)核開發(fā)的一個負載均衡項目，由我國的章文嵩博士在1998 年 5 月創(chuàng)建，官方站點位于 http://www.linuxvirtualserver.org/。LVS 實際上相當于基于 IP 地址的虛擬化應用，為基于 IP 地址和內(nèi)容請求分發(fā)的負載均衡提出了一種高效的解決方法。

????????LVS 現(xiàn)在已成為 Linux 內(nèi)核的一部分，默認編譯為 ip_vs 模塊，必要時能夠自動調(diào)用。在 CentOS 7 系統(tǒng)中，以下操作可以手動加載 ip_vs 模塊，并查看當前系統(tǒng)中 ip_vs 模塊的版本信息。

[root@LVS ~]# modprobe ip_vs //加載ip_vs模塊

[root@LVS ~]# cat /proc/net/ip_vs //查看ip_vs 版本信息

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

[root@LVS ~]#

開啟路由轉(zhuǎn)發(fā)

[root@LVS ~]# vim /etc/sysctl.conf

[root@LVS ~]# cat /etc/sysctl.conf | grep net

net.ipv4.ip_forward = 1

[root@LVS ~]# sysctl -p

net.ipv4.ip_forward = 1

[root@LVS ~]#

?

? ? ? ? 下面將介紹LVS 所支持的主要負載調(diào)度算法，以及在LVS 負載均衡調(diào)度器上如何使用 ipvsadm管理工具

1.LVS 的負載調(diào)度算法

? ? ? ? 針對不同的網(wǎng)絡(luò)服務(wù)喝配置需要，LVS 調(diào)度器提供多種不同的負載調(diào)度算法，其中最常用的四種算法時輪詢，加權(quán)輪詢，最少連接和加權(quán)最少連接

輪詢（Round Robin）：將會收到的訪問請求安裝順序輪流分配給群集中的各節(jié)點，均等的對待每臺服務(wù)器，而不管服務(wù)器實際的連接數(shù)和系統(tǒng)負載加權(quán)輪詢（Weifhed Round Robin）：根據(jù)調(diào)度器設(shè)置的權(quán)重值來分發(fā)請求，權(quán)重值高的節(jié)點優(yōu)先獲得任務(wù)并且分配的請求越多，這樣可以保證性能高的節(jié)點承擔更多的請求最少連接（Least Connections）：根據(jù)真實服務(wù)器以建立的連接數(shù)進行分配，將收到的訪問請求優(yōu)先分配給連接數(shù)最少的節(jié)點。如果所有的服務(wù)器系節(jié)點性能相近，采用這種方式可以更好的均衡負載加權(quán)最少連接（Weighted Least Connections）：在服務(wù)器的性能差異較大的情況下，調(diào)度器可以根據(jù)節(jié)點服務(wù)器負載自動調(diào)整權(quán)重，權(quán)重較高的節(jié)點將承擔更大比例的活動連接負載

2.使用 ipvsadm 管理工具

????????ipvsadm 是在負載調(diào)度器上使用的 LVS 群集管理工具，通過調(diào)用 ip_vs 模塊來添加、刪除 服 務(wù)器 節(jié) 點 ，以 及 查 看 群集 的 運 行狀 態(tài) 。 在 CentOS 7 系 統(tǒng) 中 ， 需 要 手動 安裝

ipvsadm.x86_64 0:1.27-7.el7 軟件包。

[root@LVS ~]# yum -y install ipvsadm

[root@LVS ~]# ipvsadm -v

ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)

????????LVS 群集的管理工作主要包括創(chuàng)建虛擬服務(wù)器、添加服務(wù)器節(jié)點、查看群集節(jié)點狀態(tài)、刪除服務(wù)器節(jié)點和保存負載分配策略。下面分別展示使用 ipvsadm 命令的操作方法。

1）創(chuàng)建虛擬服務(wù)器

????????若群集的 VIP 地址為 192.168.182.100，針對 TCP 80 端口提供負載分流服務(wù)，使用的調(diào)度算法為輪詢，則對應的 ipvsadm 命令操作如下所示。對于負載均衡調(diào)度器來說，VIP 必須是本機實際已啟用的 IP 地址。

[root@LVS ~]# ipvsadm -A -t 192.168.182.100:80 -s rr

????????上述操作中，選項-A 表示添加虛擬服務(wù)器，-t 用來指定 VIP 地址及 TCP 端口，-s 用來指定負載調(diào)度算法——輪詢（rr）、加權(quán)輪詢（wrr）、最少連接（lc）、加權(quán)最少連接（wlc）。

2）添加服務(wù)器節(jié)點

????????為虛擬服務(wù)器 192.168.182.100?添加四個服務(wù)器節(jié)點，IP 地址依次為 192.168.182.101～105，對應的 ipvsadm 命令操作如下所示。若希望使用保持連接，還應添加“-p 60”選項，其中60 為保持時間（單位為 s）。

[root@LVS ~]# ipvsadm -a -t 192.168.182.100:80 -r 192.168.182.101:80 -m -w 1

[root@LVS ~]# ipvsadm -a -t 192.168.182.100:80 -r 192.168.182.102:80 -m -w 1

上述操作中，有以下選擇

-a 表示添加真實服務(wù)器-t 用來指定 VIP 地址及TCP端口-r 用來指定 RIP 地址及 TCP 端口-m 表示使用 NAT 群集模式（-g DR模式，-i TUN 模式）-w 用來設(shè)置權(quán)重（權(quán)重為0時表示暫停節(jié)點）

3）查看群集狀態(tài)

????????結(jié)合選項-l 可以列表查看 LVS 虛擬服務(wù)器，可以指定只查看某一個 VIP 地址（默認為查看所有），結(jié)合選項-n 將以數(shù)字形式顯示地址、端口等信息。

[root@LVS ~]# ipvsadm -ln //查看節(jié)點狀態(tài)

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.182.100:80 rr

-> 192.168.182.101:80 Masq 1 0 0

-> 192.168.182.102:80 Masq 1 0 0

[root@LVS ~]#

????????上述輸出結(jié)果中，F(xiàn)orward 列下的 Masq 對應 Masquerade（地址偽裝），表示采用的群集模式為 NAT。如果是 Route，則表示采用的群集模式為 DR。

4）刪除服務(wù)器節(jié)點

????????需要從服務(wù)器池中刪除某一個節(jié)點時，使用選項-d。執(zhí)行刪除操作必須指定目標對象，包括節(jié)點地址、虛擬 IP 地址。例如，以下操作將會刪除 LVS 群集 192.168.182.100?中的節(jié)點 192.168.182.101。

[root@LVS ~]# ipvsadm -d -t 192.168.182.100:80 -r 192.168.182.101:80

或

[root@LVS ~]# ipvsadm -d -r 192.168.182.101:80 -t 192.168.182.100:80

[root@LVS ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.182.100:80 rr

-> 192.168.182.102:80 Masq 1 0 0

[root@LVS ~]#

????????需要刪除整個虛擬服務(wù)器時，使用選項-D 并指定虛擬 IP 地址即可，無須指定節(jié)點。例如，若執(zhí)行“ipvsadm -D -t 192.168.182.100:80”，則刪除此虛擬服務(wù)器。

5）保存負載配置策略

????????使用導出/導入工具 ipvsadm-save/ipvsadm-restore 可以保存、恢復 LVS 策略。當然也可以快速清除、重建負載分配策略。

[root@LVS ~]# ipvsadm-save > /etc/sysconfig/ipvsadm //保存策略

[root@LVS ~]# cat /etc/sysconfig/ipvsadm //確認保存結(jié)果

-A -t LVS:http -s rr

-a -t LVS:http -r 192.168.182.101:http -m -w 1

-a -t LVS:http -r 192.168.182.102:http -m -w 1

[root@LVS ~]# systemctl stop ipvsadm.service //停止服務(wù)（清楚策略）

[root@LVS ~]# systemctl start ipvsadm.service //啟動服務(wù)（重建規(guī)則）

[root@LVS ~]# systemctl status ipvsadm.service

1.1.3 NFS共享存儲服務(wù)

????????NFS 服務(wù)的實現(xiàn)依賴于 RPC（Remote Process Call，遠端過程調(diào)用）機制，以完成遠程到本地的映射過程。在 CentOS 7 系統(tǒng)中，需要安裝 nfs-utils、rpcbind 軟件包來提供 NFS 共享服務(wù)，前者用于 NFS 共享發(fā)布和訪問，后者用于 RPC 支持。

1）安裝 nfs-utils，rpcbind 軟件包

????????提供 RPC 支持的服務(wù)為 rpcbind，提供 NFS 共享的服務(wù)為 nfs，完成安裝以后建議調(diào)整這兩個服務(wù)的自啟動狀態(tài)，以便每次開機后自動啟用。手動加載 NFS 共享服務(wù)時，應該先啟動 rpcbind，再啟動 nfs。

[root@nfs ~]# yum -y install nfs-utils rpcbind

[root@nfs ~]# systemctl enable nfs

[root@nfs ~]# systemctl enable rpcbind

2）設(shè)置共享目錄

????????NFS 的配置文件為/etc/exports，文件內(nèi)容默認為空（無任何共享）。在 exports 文件中設(shè)置共享資源時，記錄格式為“目錄位置客戶機地址(權(quán)限選項)”。例如，若要將文件夾/opt/wwwroot 共享給 192.168.182.0/24 網(wǎng)段使用，允許讀寫操作，具體配置如下所示。

[root@nfs ~]# mkdir -p /opt/wwwroot

[root@nfs ~]# vim /etc/exports

[root@nfs ~]# cat /etc/exports

/opt/wwwroot 192.168.182.0/24(rw,sync,no_root_squash)

????????其中客戶機地址可以是主機名、IP 地址、網(wǎng)段地址，允許使用*、?通配符；權(quán)限選項中的 rw 表示允許讀寫（ro 為只讀），sync 表示同步寫入，no_root_squash 表示當客戶機以 root 身份訪問時賦予本地 root 權(quán)限（默認是 root_squash，將作為 nfsnobody 用戶降權(quán)對待）。

????????當需要將同一個目錄共享給不同的客戶機，且分配不同的權(quán)限時，只要以空格分隔指定多個“客戶機（權(quán)限選項）”即可。例如，以下操作將/var/ftp/public 目錄共享給兩個客戶機，并分別給予只讀、讀寫權(quán)限。

[root@nfs ~]# vim /etc/exports

/var/ftp/public 192.168.182.101(ro) 192.168.182.102(rw)

3）啟動 NFS服務(wù)程序

[root@nfs ~]# systemctl start rpcbind

[root@nfs ~]# systemctl start nfs

[root@nfs ~]# netstat -anpt | grep rpc

tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 64248/rpcbind

tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 64447/rpc.mountd

tcp 0 0 0.0.0.0:40730 0.0.0.0:* LISTEN 64443/rpc.statd

tcp6 0 0 :::111 :::* LISTEN 64248/rpcbind

tcp6 0 0 :::20048 :::* LISTEN 64447/rpc.mountd

tcp6 0 0 :::55161 :::* LISTEN 64443/rpc.statd

[root@nfs ~]#

4）查看本機發(fā)布的 NFS 共享目錄

[root@nfs ~]# showmount -e

Export list for nfs:

/opt/wwwroot 192.168.182.0/24

[root@nfs ~]#

2.在客戶機中訪問 NFS 共享資源

????????NFS 協(xié)議的目標是提供一種網(wǎng)絡(luò)文件系統(tǒng)，因此對 NFS 共享的訪問也使用 mount 命令來進行掛載，對應的文件系統(tǒng)類型為 nfs。既可以手動掛載，也可以加入/etc/fstab 配置文件來實現(xiàn)開機自動掛載?？紤]到群集系統(tǒng)中的網(wǎng)絡(luò)穩(wěn)定性，NFS 服務(wù)器與客戶機之間最好使用專有網(wǎng)絡(luò)進行連接。

1）安裝 rpcbind 軟件包，并啟動 rpcbind 服務(wù)

????????若要正常訪問 NFS 共享資源，客戶機中也需要安裝 rpcbind 軟件包，并啟動 rpcbind 系統(tǒng)服務(wù)。另外，為了使用 showmount 查詢工具，建議將 nfs-utils 軟件包也一并裝上。

[root@node01 ~]# yum -y install rpcbind nfs-utils

[root@node01 ~]# systemctl enable rpcbind

[root@node01 ~]# systemctl start rpcbind

????????如果已經(jīng)安裝了 nfs-utils 軟件包，則客戶機也可以使用 showmount 查看 NFS 服務(wù)器端共享了哪些目錄，查詢格式為“showmount -e 服務(wù)器地址”。

[root@node01 ~]# showmount -e 192.168.182.105

Export list for 192.168.182.105:

/opt/wwwroot 192.168.182.0/24

[root@node01 ~]#

2）下載httpd服務(wù)并啟動?

[root@node01 ~]# yum -y install httpd

[root@node01 ~]# systemctl start httpd

[root@node01 ~]# systemctl enable httpd

Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

[root@node01 ~]#

3）手動掛載 NFS 共享目錄

????????以 root 用戶身份執(zhí)行 mount 操作，將 NFS 服務(wù)器共享的/opt/wwwroot 目錄掛載到本地目錄/var/www/html。

[root@node01 ~]# mount 192.168.182.105:/opt/wwwroot /var/www/html

[root@node01 ~]# tail -1 /etc/mtab //確認掛載結(jié)果

192.168.182.105:/opt/wwwroot /var/www/html nfs4 rw,relatime,vers=4.1,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.182.101,local_lock=none,addr=192.168.182.105 0 0

[root@node01 ~]#

[root@node01 ~]# vim /var/www/html/index.html

[root@node01 ~]# cat /var/www/html/index.html

hello word

[root@node01 ~]#

????????完成掛載以后，訪問客戶機的/var/www/html 文件夾，實際上就相當于訪問 NFS 服務(wù)器中的/opt/wwwroot 文件夾，其中的網(wǎng)絡(luò)映射過程對于用戶程序來說是透明的。例如，上述操作中創(chuàng)建的 index.html 測試文件，會立刻出現(xiàn)在服務(wù)器的/opt/wwwroot/目錄下。

4）fstal 自動掛載

????????修改/etc/fstab 配置文件，加入 NFS 共享目錄的掛載設(shè)置。注意將文件系統(tǒng)類型設(shè)為 nfs，掛載參數(shù)建議添加_netdev（設(shè)備需要網(wǎng)絡(luò)）。若添加 soft、intr 參數(shù)可以實現(xiàn)軟掛載，允許在網(wǎng)絡(luò)中斷時放棄掛載。這樣，客戶機就可以在每次開機后自動掛載 NFS 共享資源了。

[root@LVS ~]# vim /etc/fstab

[root@LVS ~]# cat /etc/fstab | grep nfs

192.168.182.105:/opt/wwwroot /var/www/html nfs defaults,netdev 0 0

[root@LVS ~]#

柚子快報激活碼778899分享：運維 LVS 負載均衡集群

http://yzkb.51969.com/

文章鏈接