歡迎您光臨本站 註冊首頁

Inotify+Rsync實現linux文件實時同步

←手機掃碼閱讀     火星人 @ 2014-03-12 , reply:0
  公司一套系統的同步使用的donotify,不能實現子目錄的實時同步,通過查資料,發現inotify可以實現子目錄的實時同步,以下為筆記。

  一、介紹

  Inotify 是文件系統事件監控機制,作為 dnotify 的有效替代。dnotify 是較早內核支持的文件監控機制。Inotify 是一種強大的、細粒度的、非同步的機制,它滿足各種各樣的文件監控需要,不僅限於安全和性能。

  inotify 可以監視的文件系統事件包括:

  IN_ACCESS,即文件被訪問

  IN_MODIFY,文件被 write

  IN_ATTRIB,文件屬性被修改,如 chmod、chown、touch 等

  IN_CLOSE_WRITE,可寫文件被 close

  IN_CLOSE_NOWRITE,不可寫文件被 close

  IN_OPEN,文件被 open

  IN_MOVED_FROM,文件被移走,如 mv

  IN_MOVED_TO,文件被移來,如 mv、cp

  IN_CREATE,創建新文件

  IN_DELETE,文件被刪除,如 rm

  IN_DELETE_SELF,自刪除,即一個可執行文件在執行時刪除自己

  IN_MOVE_SELF,自移動,即一個可執行文件在執行時移動自己

  IN_UNMOUNT,宿主文件系統被 umount

  IN_CLOSE,文件被關閉,等同於(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)

  IN_MOVE,文件被移動,等同於(IN_MOVED_FROM | IN_MOVED_TO)

  註:上面所說的文件也包括目錄。

  二、為能在shell下使用inotify特性,需要安裝inotify-tools

  1、inotify-tools:The general purpose of this package is to allow inotify's features to be used from within shell scripts.

  下載地址:http://inotify-tools.sourceforge.net/

  編譯安裝

  ./configure

  make

  make install

  完成後,注意查看manpage,man inotify 、 man inotifywait

   1)inotifywait 僅執行阻塞,等待 inotify 事件。您可以監控任何一組文件和目錄,或監控整個目錄樹(目錄、子目錄、子目錄的子目錄等等)。在 shell 腳本中使用 inotifywait。

   2)inotifywatch 收集關於被監視的文件系統的統計數據,包括每個 inotify 事件發生多少次。

  2、inotify的系統相關參數:

  /proc interfaces

  The following interfaces can be used to limit the amount of kernel memory consumed by inotify:

  /proc/sys/fs/inotify/max_queued_events

  The value in this file is used when an application calls inotify_init(2) to set an upper limit on the number of events that can be queued to the corresponding inotify instance. Events in excess of this limit are dropped, but an IN_Q_OVERFLOW event is always generated.

  /proc/sys/fs/inotify/max_user_instances

  This specifies an upper limit on the number of inotify instances that can be created per real user ID.

  /proc/sys/fs/inotify/max_user_watches

  This specifies a limit on the number of watches that can be associated with each inotify instance.

  3、inotifywait 相關的參數(更多,查看manpage):

  inotifywait

  This command simply blocks for inotify events, making it appropriate for use in shell scripts. It can watch any set of files and directories, and can recursively watch entire directory trees.

  -m, --monitor

  Instead of exiting after receiving a single event, execute indefinitely. The default behaviour is to exit after the first event occurs.

  -r, --recursive

  Watch all subdirectories of any directories passed as arguments. Watches will be set up recursively to an unlimited depth. Symbolic links are not

  traversed. Newly created subdirectories will also be watched.

  -q, --quiet

  If specified once, the program will be less verbose. Specifically, it will not state when it has completed establishing all inotify watches.

  -e , --event

   Listen for specific event(s) only. The events which can be listened for are listed in the EVENTS section. This option can be specified more than once. If omitted, all events are listened for. use“,”separate multi events


  三、使用

  1.查看是否支持inotify,從kernel 2.6.13開始正式併入內核,RHEL5已經支持。看看是否有 /proc/sys/fs/inotify/目錄,以確定內核是否支持inotify 

[root@RHEL5 Rsync]# ll /proc/sys/fs/inotify
total
0
-rw-r--r-- 1 root root 0 Oct  9 09:36 max_queued_events
-rw-r--r-- 1 root root 0 Oct  9 09:36 max_user_instances
-rw-r--r-- 1 root root 0 Oct  9 09:36 max_user_watches

  2.關於遞歸:

  inotifywait

  This command simply blocks for inotify events, making it appropriate for use in shell scripts. It can watch any set of files and directories, and can recursively watch entire directory trees.

  3.使用:

#!/bin/sh
src
=/opt/webmail
des
=/tmp
ip
=192.168.7.192
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format  '%T %w%f' \
-e modify,delete,create,attrib \
${src} \
| while read  file
        
do
                rsync
-avz --delete --progress ${src} root@${ip}:${des} &&
                echo
"${src} was rsynced"
                echo
"---------------------------------------------------------------------------"
        done

  註:當要排出同步某個目錄時,為rsync添加--exculde=PATTERN參數,注意,路徑是相對路徑。詳細查看man rsync

  當要排除都某個目錄的事件監控的處理時,為inotifywait添加--exclude或--excludei參數。詳細查看man inotifywait

  另:/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \

  -e modify,delete,create,attrib \

  ${src} \

  上面的命令返回的值類似於:

  10/03/09 15:31 /wwwpic/1

  這3個返回值做為參數傳給read,關於此處,有人是這樣寫的:

  inotifywait -mrq -e create,move,delete,modify $SRC | while read D E F;do細化了返回值。

  註:要取得監控文件發生的事件,在--format處指定%e參數,同時,使用--event參數來指定要監控的事件即可,如--format '%T %w%f %e' --event modify,delete,create,attrib

  說明:當文件系統發現指定目錄下有如上的條件的時候就觸發相應的指令,是一種主動告之的而非我用循環比較目錄下的文件的異動,該程序在運行時,更改目錄內的文件時系統內核會發送一個信號,這個信號會觸發運行rsync命令,這時會同步源目錄和目標目錄。

  --timefmt:指定輸出時的輸出格式

  --format: '%T %w%f'指定輸出的格式,上面的輸出類似於:12/10/08 06:34 /opt/webmail/dovecot-1.1.2/src/test/1

  小腳本,同步到多台主機:

文件:
inotify_rsync.tar.gz
大小:
1KB
下載:
下載

  更改后,更簡單,適用於同步到相同的目錄,監控多目錄,多文件,同步到多台伺服器

#!/bin/sh
#set
-x
#var
src
="/usr/local/nginx/html/lib /usr/local/nginx/html/www /usr/local/nginx/html/var/www.work.com.conf.php"
des_ip
="172.18.1.35 172.18.1.36 172.18.1.37 172.18.1.38"
#function
inotify_fun ()
{
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y-%H:%M' --format '%T %w%f' \
-e modify,delete,create,move $1|while read time file
do
for ip in $des_ip
do
echo
"`date +%Y%m%d-%T`: rsync -avzq --delete --progress $1 $ip:`dirname $1`"
rsync
-avzq --delete --progress $1 $ip:`dirname $1`
echo
done
done
}
#main
for a in $src
do
inotify_fun $a
&
done

  參考:http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html


  關於減少rsync的遍歷,未完:考慮到被監測的目錄每次有一下時間時都會觸發rsync,modify, delete,create,move每次rsync都會遍歷源目錄,當被監測目錄內文件特別多時,會造成系統資源的嚴重消耗,所以,讓rsync每次只同步修改的文件。因為,如果從監控目錄mv走一個目錄,那麼rsync只會報告找不到你移走的目錄而無法刪除備份機的應該刪除的目錄。所以,對於刪除這個事件,沒有辦法了,只能同步被刪除文件或目錄的上級目錄了。將事件分為兩部分,modify, create, move事件,觸發rsync,只同步修改了的文件。delete事件,同步被刪除文件或目錄的上級目錄(不能越過要同步的根目錄)。

  關於腳本內容的一些說明:

  rsync.conf里的目錄格式一定要注意,沒有最後的“/"

  boot.sh

  對於rsync命令的目標地址,是由兩部分組成的:

  1、rsync.conf里的dest

  des=`grep '^dest' ${basedir}/rsync.conf| cut -d '=' -f 2 `

  2、被修改了的文件的完全路徑,去掉源目錄部分,去掉被修改的文件的文件名。

  mb=`echo $file|awk -F "/" '{NF=NF-1;OFS="/";print $0}'|sed "s#$src##g"`

  boot.sh

  ############################################################

  先做個記錄,腳本在delete部分還有問題

#!/bin/sh
#
basedir
=/home/jason/Rsync
destNum
=`grep -c '^dest' ${basedir}/rsync.conf`
src
=`grep 'local directory=' ${basedir}/rsync.conf|cut -d '=' -f 2`
des
=`grep '^dest' ${basedir}/rsync.conf| cut -d

好文,頂一下
(2)
66.7%
文章真差,踩一下
(1)
33.3%
------分隔線----------------------------
  • 上一篇:讓RHEL5 支持NTFS分區
  • 下一篇:虛擬化軟體實戰:Linux和Oracle安裝
  • 我要評論!
  • 收藏
  • 挑錯
  • 推薦
  • 列印


把開源帶在你的身邊-精美linux小紀念品

[火星人 ] Inotify+Rsync實現linux文件實時同步已經有622次圍觀

http://coctec.com/docs/enterprise/show-post-73119.html