數十T小文件如圖片，同步、備份等如何高效維護？
如題。
生產系統有台圖片伺服器，raid10、nginx，有數十T的小文件圖片居多，且因業務需要還在不斷更新文件和生成新文件。
照同樣硬軟體環境又搭建了一台。用scp、du、rsync等維護時，執行一次就需要十數個小時。
當某台伺服器有文件變化，有沒有高效的處理辦法，能確保兩台伺服器手工同步、迅速統計這些小文件的數量和大小、部署差異或增量的自動化腳本調度呢？
《解決方案》
:sleepy::sleepy::sleepy::sleepy::sleepy::sleepy:
《解決方案》
rsync + inotify
《解決方案》
個人以為rsync應該是抗不住的，呵呵，無論是推送還是拉取，都會需要考慮打開文件數和帶寬瓶頸，嚴重情況下直接可能導致站點訪問timeout，個人生產經驗如此。
個人公司伺服器image master 和image slave均14塊2T scsi，組建raid60，ext4，解決方案是php+shell增量推送，master提供上傳和業務後台，slave提供讀取操作，前端頁面會有延遲，但公司業務可以接受。
個人感覺這個和前期架構設計有關，後期改動動作會比較大，，，架構改動期間，偶吃苦了~~~~呵呵
《解決方案》
好滴 謝謝 研究下
《解決方案》
這個大量的小文件是不是要考慮架構問題了,比如合併成大文件,分散式之類,參考下fb的haystack的設計思路吧.
《解決方案》
嗯 向fb學習
《解決方案》
劍嘯易水寒 發表於 2012-06-11 23:00 static/image/common/back.gif
個人以為rsync應該是抗不住的，呵呵，無論是推送還是拉取，都會需要考慮打開文件數和帶寬瓶頸，嚴重情況下直 ...
加了inotifywait+rsync 把監控的文件數開的足夠 內存幾乎耗盡了 inotifywait也掛了 :dizzy:
《解決方案》
回復 8# arkue
這個是必然的，樓主三思，避免蛋疼
