Redis系列之哨兵模式

Redis的主從複製模式下， 一旦主節點由於故障不能提供服務， 需要人工將從節點晉升為主節點， 同時還要通知應用方更新主節點地址， 對於很多應用場景這種故障處理的方式是無法接受的。 可喜的是Redis從2.8開始正式
提供了Redis Sentinel（哨兵） 架構來解決這個問題。

總結：

Redis主從複製的缺點：沒有辦法對master進行動態選舉，需要使用Sentinel機制完成動態選舉
1. 哨兵模式介紹

    Sentinel(哨兵)程序是用於監控redis叢集中Master主伺服器工作的狀態

    在Master主伺服器發生故障的時候，可以實現Master和Slave伺服器的切換，保證系統的高可用（HA）

    其已經被整合在redis2.6+的版本中，Redis的哨兵模式到了2.8版本之後就穩定了下來。

2.哨兵程序的作用

    監控(Monitoring): 哨兵(sentinel) 會不斷地檢查你的Master和Slave是否運作正常。

    提醒(Notification):當被監控的某個Redis節點出現問題時, 哨兵(sentinel) 可以通過 API 向管理員或者其他應用程式傳送通知。

3.自動故障遷移(Automatic failover)：當一個Master不能正常工作時，哨兵(sentinel) 會開始一次自動故障遷移操作。

    它會將失效Master的其中一個Slave升級為新的Master, 並讓失效Master的其他Slave改為複製新的Master；

    當客戶端試圖連線失效的Master時，叢集也會向客戶端返回新Master的地址，使得叢集可以使用現在的Master替換失效Master。

    Master和Slave伺服器切換後，Master的redis.conf、Slave的redis.conf和sentinel.conf的配置檔案的內容都會發生相應的改變，即，Master主伺服器的redis.conf配置檔案中會多一行slaveof的配置，sentinel.conf的監控目標會隨之調換。

3.哨兵程序的工作方式

    每個Sentinel（哨兵）程序以每秒鐘一次的頻率向整個叢集中的Master主伺服器，Slave從伺服器以及其他Sentinel（哨兵）程序傳送一個 PING 命令。
    如果一個例項（instance）距離最後一次有效回覆 PING 命令的時間超過 down-after-milliseconds 選項所指定的值，則這個例項會被 Sentinel（哨兵）程序標記為主觀下線（SDOWN）。
    如果一個Master主伺服器被標記為主觀下線（SDOWN），則正在監視這個Master主伺服器的所有
    Sentinel（哨兵）程序要以每秒一次的頻率確認Master主伺服器的確進入了主觀下線狀態。
    當有足夠數量的 Sentinel（哨兵）程序（大於等於配置檔案指定的值）在指定的時間範圍內確認Master主伺服器進入了主觀下線狀態（SDOWN）， 則Master主伺服器會被標記為客觀下線（ODOWN）。
    在一般情況下， 每個Sentinel（哨兵）程序會以每 10 秒一次的頻率向叢集中的所有Master主伺服器、Slave從伺服器傳送 INFO 命令。
    當Master主伺服器被 Sentinel（哨兵）程序標記為客觀下線（ODOWN）時，Sentinel（哨兵）程序向下線的 Master主伺服器的所有 Slave從伺服器傳送 INFO 命令的頻率會從 10 秒一次改為每秒一次。
    若沒有足夠數量的 Sentinel（哨兵）程序同意 Master主伺服器下線， Master主伺服器的客觀下線狀態就會被移除。若 Master主伺服器重新向 Sentinel（哨兵）程序傳送 PING 命令返回有效回覆，Master主伺服器的主觀下線狀態就會被移除。

在這裡插入圖片描述
4.安裝和部署
4.1部署拓撲結構

在這裡插入圖片描述

在這裡插入圖片描述
4.2啟動主節點
配置

redis-6379.conf主要修改引數

port 6379
daemonize yes
logfile "6379.log"
dbfilename "dump-6379.rdb"

啟動

./redis-server redis-6379.conf


確認是否啟動成功

方式1：

[root@localhost bin]# ./redis-cli -h 127.0.0.1 -p 6379 ping
PONG


方式2：

[root@localhost bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
(empty list or set)


4.2啟動從節點
配置

從節點1 redis-6380.conf 主要修改引數

port 6380
daemonize yes
logfile "6380.log"
dbfilename "dump-6380.rdb"
slaveof 127.0.0.1 6379


從節點2 redis-6381.conf 主要修改引數

port 6381
daemonize yes
logfile "6381.log"
dbfilename "dump-6381.rdb"
slaveof 127.0.0.1 6379


啟動

./redis-server redis-6380.conf

    1

啟動列印日誌：

在這裡插入圖片描述

./redis-server redis-6381.conf


啟動列印日誌：

在這裡插入圖片描述
確認主從關係

[root@localhost bin]# ./redis-cli -p 6379
127.0.0.1:6379> info replication
# Replication
role:master  ##當前節點角色
connected_slaves:2   ##從節點連線個數
slave0:ip=127.0.0.1,port=6380,state=online,offset=392,lag=1   ##從節點連線資訊
slave1:ip=127.0.0.1,port=6381,state=online,offset=392,lag=2   ##從節點連線資訊
master_replid:6bc06103642acba6430e01ec78ef18ada4736649
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:392
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:392

  

此時拓撲：

在這裡插入圖片描述
4.3部署Sentinel節點

3個Sentinel節點的部署方法是完全一致的（埠不同）
配置

主要修改引數 修改埠 ，修改主節點連線資訊，其他使用預設就行了，具體引數後面會介紹

port 26379
sentinel monitor mymaster 127.0.0.1 6379 1



    Sentinel節點的預設埠是26379

啟動

./redis-sentinel sentinel-26379.conf


方法二， 使用redis-server命令加–sentinel引數：

redis-server sentinel-26379.conf --sentinel


日誌

在這裡插入圖片描述
確認

Sentinel節點本質上是一個特殊的Redis節點， 所以也可以通過info命令 來查詢它的相關資訊 。

[root@localhost bin]# redis-cli -h 127.0.0.1 -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=127.0.0.1:6379,slaves=2,sentinels=1


其他兩個配置是一樣的。
最終拓撲

在這裡插入圖片描述
4.4宕機測試

現在在master節點上執行,如下操作，演示通過redis sentinel 進行故障轉移和新master的選出

[root@localhost bin]# ./redis-cli shutdown


執行完上述操作後，三個哨兵列印的日誌如下：

14549:X 24 Jul 15:44:44.568 # +vote-for-leader e31085285266ff86372eeeb4970c9a8de0471025 1
14549:X 24 Jul 15:44:44.604 # +sdown master mymaster 127.0.0.1 6379
14549:X 24 Jul 15:44:44.604 # +odown master mymaster 127.0.0.1 6379 #quorum 1/1
14549:X 24 Jul 15:44:44.604 # Next failover delay: I will not start a failover before Wed Jul 24 15:50:45 2019
14549:X 24 Jul 15:44:45.093 # +config-update-from sentinel e31085285266ff86372eeeb4970c9a8de0471025 127.0.0.1 26381 @ mymaster 127.0.0.1 6379
14549:X 24 Jul 15:44:45.093 # +switch-master mymaster 127.0.0.1 6379 127.0.0.1 6381
14549:X 24 Jul 15:44:45.093 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6381
14549:X 24 Jul 15:44:45.093 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381
14549:X 24 Jul 15:45:15.127 # +sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381



意思就是選擇6381為新的master

如下日誌是在，6379執行shutdown前後在6381節點上執行的操作：

127.0.0.1:6381> info replication
# Replication
role:slave    ###6379節點正常是，6381為從節點
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:166451
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:6bc06103642acba6430e01ec78ef18ada4736649
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:166451
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:253
repl_backlog_histlen:166199
127.0.0.1:6381> info replication
# Replication
role:master   ###執行shutdwon後成為新的master節點
connected_slaves:1
slave0:ip=127.0.0.1,port=6380,state=online,offset=217098,lag=1
master_replid:e39de2323e3ab0ff0eff1347ad1c65e2bd3fd917
master_replid2:6bc06103642acba6430e01ec78ef18ada4736649
master_repl_offset:217098
second_repl_offset:172878
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:253
repl_backlog_histlen:216846


5.Sentinel配置說明

# Example sentinel.conf
 
# 哨兵sentinel例項執行的埠 預設26379
port 26379
 
# 哨兵sentinel的工作目錄
dir /tmp
 
# 哨兵sentinel監控的redis主節點的 ip port
# master-name  可以自己命名的主節點名字 只能由字母A-z、數字0-9 、這三個字元".-_"組成。
# quorum 配置多少個sentinel哨兵統一認為master主節點失聯 那麼這時客觀上認為主節點失聯了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
  sentinel monitor mymaster 127.0.0.1 6379 2
 
# 當在Redis例項中開啟了requirepass foobared 授權密碼 這樣所有連線Redis例項的客戶端都要提供密碼
# 設定哨兵sentinel 連線主從的密碼 注意必須為主從設定一樣的驗證密碼
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
 
 
# 指定多少毫秒之後 主節點沒有應答哨兵sentinel 此時 哨兵主觀上認為主節點下線 預設30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
 
# 這個配置項指定了在發生failover主備切換時最多可以有多少個slave同時對新的master進行 同步，
這個數字越小，完成failover所需的時間就越長，
但是如果這個數字越大，就意味著越 多的slave因為replication而不可用。
可以通過將這個值設為 1 來保證每次只有一個slave 處於不能處理命令請求的狀態。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
 
 
 
# 故障轉移的超時時間 failover-timeout 可以用在以下這些方面：
#1. 同一個sentinel對同一個master兩次failover之間的間隔時間。
#2. 當一個slave從一個錯誤的master那裡同步資料開始計算時間。直到slave被糾正為向正確的master那裡同步資料時。
#3.當想要取消一個正在進行的failover所需要的時間。  
#4.當進行failover時，配置所有slaves指向新的master所需的最大時間。不過，即使過了這個超時，slaves依然會被正確配置為指向master，但是就不按parallel-syncs所配置的規則來了
# 預設三分鐘
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
 
# SCRIPTS EXECUTION
 
#配置當某一事件發生時所需要執行的指令碼，可以通過指令碼來通知管理員，例如當系統執行不正常時發郵件通知相關人員。
#對於指令碼的執行結果有以下規則：
#若指令碼執行後返回1，那麼該指令碼稍後將會被再次執行，重複次數目前預設為10
#若指令碼執行後返回2，或者比2更高的一個返回值，指令碼將不會重複執行。
#如果指令碼在執行過程中由於收到系統中斷訊號被終止了，則同返回值為1時的行為相同。
#一個指令碼的最大執行時間為60s，如果超過這個時間，指令碼將會被一個SIGKILL訊號終止，之後重新執行。
 
#通知型指令碼:當sentinel有任何警告級別的事件發生時（比如說redis例項的主觀失效和客觀失效等等），將會去呼叫這個指令碼，
這時這個指令碼應該通過郵件，SMS等方式去通知系統管理員關於系統不正常執行的資訊。呼叫該指令碼時，將傳給指令碼兩個引數，
一個是事件的型別，
一個是事件的描述。
如果sentinel.conf配置檔案中配置了這個指令碼路徑，那麼必須保證這個指令碼存在於這個路徑，並且是可執行的，否則sentinel無法正常啟動成功。
#通知指令碼
# sentinel notification-script <master-name> <script-path>
  sentinel notification-script mymaster /var/redis/notify.sh
 
# 客戶端重新配置主節點引數指令碼
# 當一個master由於failover而發生改變時，這個指令碼將會被呼叫，通知相關的客戶端關於master地址已經發生改變的資訊。
# 以下引數將會在呼叫指令碼時傳給指令碼:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>總是“failover”,
# <role>是“leader”或者“observer”中的一個。
# 引數 from-ip, from-port, to-ip, to-port是用來和舊的master和新的master(即舊的slave)通訊的
# 這個指令碼應該是通用的，能被多次呼叫，不是針對性的。
# sentinel client-reconfig-script <master-name> <script-path>
 sentinel client-reconfig-script mymaster /var/redis/reconfig.sh