最近學習了LVS（Linux Virtual Server）的集群技術,把搜集的一些資料整理一下.LVS（Linux Virtual Server）其實就是針對高可伸縮、高可用網路服務的需求,給出了基於IP層和基於內容請求分發的負載平衡調度解決方法,並在Linux內核中實現了這些方法,將一組伺服器構成一個實現可伸縮的、高可用網路服務的虛擬伺服器.
所以,lvs需要內核有ipvs支持,確保你的內核支持ipvs后,只需安裝ipvsadm就可以把一台伺服器配置成負載調度器（Load Balancer）.對外提供服務的IP,也就是我們訪問的IP稱做VIP.調度器LB的任務主要是分發請求,真正處理的是真實伺服器(Real Server).這就是LVS工作的基本方式和一些基本術語,下面是一張結構圖.
負載調度器（load balancer）：它是整個集群對外面的前端機,負責將客戶的請求發送到一組伺服器上執行,而客戶認為服務是來自一個IP地址（我們可稱之為虛擬IP地址）上的.
伺服器池（server pool）：是一組真正執行客戶請求的伺服器,執行的服務有WEB、MAIL、FTP和DNS等.
共享存儲（shared storage）：它為伺服器池提供一個共享的存儲區,這樣很容易是的伺服器池擁有相同的內容,提供相同的服務.
IPVS軟體實現了這三種IP負載均衡技術,它們的大致原理如下：
Virtual Server via Network Address Translation（VS/NAT）
通過網路地址轉換,調度器重寫請求報文的目標地址,根據預設的調度演算法,將請求分派給後端的真實伺服器；真實伺服器的響應報文通過調度器時,報文的源地址被重寫,再返回給客戶,完成整個負載調度過程.
Virtual Server via IP Tunneling（VS/TUN）
Virtual Server via Direct Routing（VS/DR）
VS/DR通過改寫請求報文的MAC地址,將請求發送到真實伺服器,而真實伺服器將響應直接返回給客戶.同VS/TUN技術一樣,VS/DR技術可極大地 提高集群系統的伸縮性.這種方法沒有IP隧道的開銷,對集群中的真實伺服器也沒有必須支持IP隧道協議的要求,但是要求調度器與真實伺服器都有一塊網卡連 在同一物理網段上.
三種IP負載均衡技術的優缺點比較:
雜項 VS/NAT VS/TUN VS/DR
伺服器操作系統 任意 支持隧道 多數(支持Non-arp )
伺服器網路 私有網路 區域網/廣域網 區域網
伺服器數目(100M網路) 10-20 100 多(100)
伺服器網關 負載均衡器 自己的路由 自己的路由
效率 一般 高 最高
針對不同的網路服務需求和伺服器配置,IPVS調度器實現了如下八種負載調度演算法：
輪叫（Round Robin）
調度器通過”輪叫”調度演算法將外部請求按順序輪流分配到集群中的真實伺服器上,它均等地對待每一台伺服器,而不管伺服器上實際的連接數和系統負載.
加權輪叫（Weighted Round Robin）
調度器通過”加權輪叫”調度演算法根據真實伺服器的不同處理能力來調度訪問請求.這樣可以保證處理能力強的伺服器處理更多的訪問流量.調度器可以自動問詢真實伺服器的負載情況,並動態地調整其權值.
最少鏈接（Least Connections）
調度器通過”最少連接”調度演算法動態地將網路請求調度到已建立的鏈接數最少的伺服器上.如果集群系統的真實伺服器具有相近的系統性能,採用”最小連接”調度演算法可以較好地均衡負載.
加權最少鏈接（Weighted Least Connections）
在集群系統中的伺服器性能差異較大的情況下,調度器採用”加權最少鏈接”調度演算法優化負載均衡性能,具有較高權值的伺服器將承受較大比例的活動連接負載.調度器可以自動問詢真實伺服器的負載情況,並動態地調整其權值.
基於局部性的最少鏈接（Locality-Based Least Connections）
“基於局部性的最少鏈接” 調度演算法是針對目標IP地址的負載均衡,目前主要用於Cache集群系統.該演算法根據請求的目標IP地址找出該目標IP地址最近使用的伺服器,若該伺服器 是可用的且沒有超載,將請求發送到該伺服器；若伺服器不存在,或者該伺服器超載且有伺服器處於一半的工作負載,則用”最少鏈接”的原則選出一個可用的服務 器,將請求發送到該伺服器.
帶複製的基於局部性最少鏈接（Locality-Based Least Connections with Replication）
“帶複製的基於局部性最少鏈接”調度演算法也是針對目標IP地址的負載均衡,目前主要用於Cache集群系統.它與LBLC演算法的不同之處是它要維護從一個 目標IP地址到一組伺服器的映射,而LBLC演算法維護從一個目標IP地址到一台伺服器的映射.該演算法根據請求的目標IP地址找出該目標IP地址對應的服務 器組,按”最小連接”原則從伺服器組中選出一台伺服器,若伺服器沒有超載,將請求發送到該伺服器,若伺服器超載；則按”最小連接”原則從這個集群中選出一 台伺服器,將該伺服器加入到伺服器組中,將請求發送到該伺服器.同時,當該伺服器組有一段時間沒有被修改,將最忙的伺服器從伺服器組中刪除,以降低複製的 程度.
目標地址散列（Destination Hashing）
“目標地址散列”調度演算法根據請求的目標IP地址,作為散列鍵（Hash Key）從靜態分配的散列表找出對應的伺服器,若該伺服器是可用的且未超載,將請求發送到該伺服器,否則返回空.
源地址散列（Source Hashing）
“源地址散列”調度演算法根據請求的源IP地址,作為散列鍵（Hash Key）從靜態分配的散列表找出對應的伺服器,若該伺服器是可用的且未超載,將請求發送到該伺服器,否則返回空.
環境：LB：ipvsadm,RS：LAMP
ipvsadm可以到官網下載安裝：http://www.linuxvirtualserver.org/software/index.html；LAMP安裝省略,網上資料很多.
VIP:192.168.1.100
LB:10.3.37.100
RS:10.3.37.101
RS:10.3.37.102
RS:10.3.37.103
RS:10.3.37.104
LB配置：
外部地址為192.168.1.100 內部地址為10.3.37.100,LVS在VS/NAT、VS/DR和VS/TUN3種方式下均需要打開ip_forward功能.
ipvs的腳本（ipvsadin詳解見下文）
#!/bin/sh ipvsadm -C ipvsadm -A -t 192.168.1.100:80 -s wlc ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.101:80 -m ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.102:80 -m ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.103:80 -m ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.104:80 -m
RealServer的配置（網關設置成BL內網IP:10.3.37.100）：
網關配置(/etc/sysconfig/network 文件的內容如下)
NETWORKING=yes HOSTNAME=localhost.localdomain GATEWAY=10.3.37.100
網卡配置文件(/etc/sysconfig/network-scripts/ifcfg-eth0的內容如下)
DEVICE=eth0 ONBOOT=yes BOOTPROTO=static IPADDR=10.3.37.101 NETMASK=255.255.255.0 BROADCAST=10.3.37.255
只要知道了原理和ipvsadm基本使用,配置和VS/NAT沒多大差別,關鍵在於RS上要關閉arp.
RealServer的配置：
vi /etc/sysctl.conf #加入一行 net.ipv4.ip_forward = 1 net.ipv4.conf.lo.arp_ignore = 1 net.ipv4.conf.lo.arp_announce = 2 net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.all.arp_announce = 2 #退出編輯,執行sysctl -p使配置生效. sysctl -p
1,virtual-service-address:是指虛擬伺服器的ip 地址 2,real-service-address:是指真實伺服器的ip 地址 3,scheduler：調度方法 (lna@networksbase.com 翻譯 ipvsadm v1.21 2004 年4 月) ipvsadm 的用法和格式如下： ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask] ipvsadm -D -t|u|f virtual-service-address ipvsadm -C ipvsadm -R ipvsadm -S [-n] ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight] ipvsadm -d -t|u|f service-address -r server-address ipvsadm -L|l [options] ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] ipvsadm --stop-daemon ipvsadm -h 命令選項解釋： 有兩種命令選項格式,長的和短的,具有相同的意思.在實際使用時,兩種都可 以. -A --add-service 在內核的虛擬伺服器表中添加一條新的虛擬伺服器記錄.也 就是增加一台新的虛擬伺服器. -E --edit-service 編輯內核虛擬伺服器表中的一條虛擬伺服器記錄. -D --delete-service 刪除內核虛擬伺服器表中的一條虛擬伺服器記錄. -C --clear 清除內核虛擬伺服器表中的所有記錄. -R --restore 恢復虛擬伺服器規則 -S --save 保存虛擬伺服器規則,輸出為-R 選項可讀的格式 -a --add-server 在內核虛擬伺服器表的一條記錄里添加一條新的真實伺服器 記錄.也就是在一個虛擬伺服器中增加一台新的真實伺服器 -e --edit-server 編輯一條虛擬伺服器記錄中的某條真實伺服器記錄 -d --delete-server 刪除一條虛擬伺服器記錄中的某條真實伺服器記錄 -L|-l --list 顯示內核虛擬伺服器表 -Z --zero 虛擬服務表計數器清零（清空當前的連接數量等） --set tcp tcpfin udp 設置連接超時值 --start-daemon 啟動同步守護進程.他後面可以是master 或backup,用來說 明LVS Router 是master 或是backup.在這個功能上也可以採用keepalived 的 VRRP 功能. --stop-daemon 停止同步守護進程 -h --help 顯示幫助信息 其他的選項: -t --tcp-service service-address 說明虛擬伺服器提供的是tcp 的服務 [vip:port] or [real-server-ip:port] -u --udp-service service-address 說明虛擬伺服器提供的是udp 的服務 [vip:port] or [real-server-ip:port] -f --fwmark-service fwmark 說明是經過iptables 標記過的服務類型. -s --scheduler scheduler 使用的調度演算法,有這樣幾個選項 rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, 默認的調度演算法是： wlc. -p --persistent [timeout] 持久穩固的服務.這個選項的意思是來自同一個客 戶的多次請求,將被同一台真實的伺服器處理.timeout 的默認值為300 秒. -M --netmask netmask persistent granularity mask -r --real-server server-address 真實的伺服器[Real-Server:port] -g --gatewaying 指定LVS 的工作模式為直接路由模式（也是LVS 默認的模式） -i --ipip 指定LVS 的工作模式為隧道模式 -m --masquerading 指定LVS 的工作模式為NAT 模式 -w --weight weight 真實伺服器的權值 --mcast-interface interface 指定組播的同步介面 -c --connection 顯示LVS 目前的連接 如：ipvsadm -L -c --timeout 顯示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout --daemon 顯示同步守護進程狀態 --stats 顯示統計信息 --rate 顯示速率信息 --sort 對虛擬伺服器和真實伺服器排序輸出 --numeric -n 輸出IP 地址和埠的數字形式
結束：
這裡主要介紹LVS的基本原理和基本配置,實際使用時,是使用keepalived實現BL的HA和RS的可用性檢測.LVS更詳細的內容可以看參考資料里章文嵩博士的4篇論文
本文出自 「常用命令練習」 博客,請務必保留此出處http://moguiyu311.blog.51cto.com/1714954/533360
[火星人 ] LVS（Linux Virtual Server）原理介紹與簡單配置已經有1037次圍觀
