服務(wù)器維護(hù)CentOS7.2下unison+inotify實(shí)現(xiàn)Web目錄雙向同步

2020-06-17 21:10 作者：admin

服務(wù)器維護(hù)CentOS7.2下unison+inotify實(shí)現(xiàn)Web目錄雙向同步

服務(wù)器維護(hù)小知識(shí)1. 背景

最近需要上線一個(gè)公司展廳項(xiàng)目，項(xiàng)目中主要是后臺(tái)圖片管理。因此它基本不會(huì)出現(xiàn)多人同時(shí)修改同一圖片的情況，這樣做雙機(jī)的情況下，Web目錄最好是雙向同步。
在Linux下做WEB目錄文件同步，一般有如下幾種方式：
1. nfs實(shí)現(xiàn)web數(shù)據(jù)共享
2. rsync +inotify實(shí)現(xiàn)web數(shù)據(jù)同步
3. rsync+sersync更快更節(jié)約資源實(shí)現(xiàn)web數(shù)據(jù)同步
4. unison+inotify實(shí)現(xiàn)web數(shù)據(jù)雙向同步
他們各有優(yōu)缺點(diǎn)，這里我根據(jù)實(shí)際情況，選擇方案4。

服務(wù)器維護(hù)小知識(shí)2. Unison簡(jiǎn)介

Unison是一款跨平臺(tái)的文件同步工具，不僅支持本地對(duì)本地同步，也支持通過(guò)SSH、RSH和Socket等網(wǎng)絡(luò)協(xié)議進(jìn)行同步。更棒的是，Unison支持雙向同步操作，你既可以從A同步到B，也可以從B同步到A，這些都不需要額外的設(shè)定。
官方文檔： 
http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.48.4-manual.html

服務(wù)器維護(hù)小知識(shí)3. 環(huán)境準(zhǔn)備

CentOS7.2 2臺(tái)： 
show160 10.1.0.160 
show161 10.1.0.161

服務(wù)器維護(hù)小知識(shí)4. 安裝Objective Caml compiler

Objective Caml compiler (version 3.11.2 or later) 官網(wǎng)地址：http://caml.inria.fr/
cd /tmp
wget http://caml.inria.fr/pub/distrib/ocaml-4.03/ocaml-4.03.0.tar.gz
tar -zxvf ocaml-4.03.0.tar.gz
cd ocaml-4.03.0
./configure
make configure
make world opt
make install

服務(wù)器維護(hù)小知識(shí)5. 安裝unison

如果需要同步到遠(yuǎn)程目錄，則遠(yuǎn)程機(jī)器也需要安裝unison。
yum -y install ctags-etags  # 缺少此安裝包時(shí)下面make步驟會(huì)報(bào)錯(cuò)
cd /tmp
wget http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.48.4.tar.gz
mkdir unison-2.48.4 && cd unison-2.48.4
tar -zxvf /tmp/unison-2.48.4.tar.gz
cd src
make UISTYLE=text THREADS=true
cp unison /usr/local/bin/
unison -version  # 有版本信息出現(xiàn)，則安裝成功

服務(wù)器維護(hù)小知識(shí)6. 安裝inotify

inotify官方地址：https://en.wikipedia.org/wiki/Inotify
yum -y install inotify-tools

服務(wù)器維護(hù)小知識(shí)7. 配置雙機(jī)ssh信任

show160上生成密鑰，不輸入私鑰密碼。
[root@show160 src]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
d6:3b:8a:47:23:04:5d:31:9a:97:d2:d3:5c:1b:f7:a3 root@show160
The key's randomart image is:
+--[ RSA 2048]----+
|     . .+.  o .  |
|    . .+ = . + . |
|     .+ = o .  ..|
|      .o o    . .|
|     .  S .  E   |
|      ..o  .     |
|       o .o      |
|       ... .     |
|      ...        |
+-----------------+
[root@show160 src]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
[root@show160 src]# chmod 700 ~/.ssh
[root@show160 src]# chmod 600 ~/.ssh/authorized_keys
[root@show160 src]# rsync -avz /root/.ssh/authorized_keys [email protected]:/root/.ssh/authorized_keys
show161上生成密鑰，不輸入私鑰密碼。
[root@show161 tomcat]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
e8:b4:f7:91:ad:a0:83:fb:00:55:c2:c6:2c:65:08:91 root@show161
The key's randomart image is:
+--[ RSA 2048]----+
|o+ *+ .          |
|E o.=o           |
|   o.            |
|   .   .         |
|  .   o S        |
|   . o .   o     |
|    ..o o o .    |
|    ...o o o     |
|    .oo.  o      |
+-----------------+
[root@show161 tomcat]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
[root@show161 tomcat]# rsync -avz /root/.ssh/authorized_keys [email protected]:/root/.ssh/authorized_keys
在2臺(tái)機(jī)器上分別ssh對(duì)方IP，能無(wú)密碼登錄則表示配置成功。

服務(wù)器維護(hù)小知識(shí)8. unison的使用

unison的用法非常靈活和簡(jiǎn)單，可以通過(guò)如下三種方式調(diào)用unison。 
第一種方式：”unison profile_name [options]” 
unison默認(rèn)會(huì)讀取~/.unison目錄下的配置文件”profile_name.prf”。
注意，在這種方式下，命令行中并沒有指出要進(jìn)行同步的兩個(gè)地址，所以，此種調(diào)用unison的方式必須在配置文件profile_name.prf中通過(guò)相關(guān)的root指令設(shè)置同步的路徑和同步的參數(shù)，如：
#Unison preferences file
root = /tmp/test
root = ssh://[email protected]//tmp/test/
#force =
#ignore =
batch = true 
第二種方式：”unison profile root1 root2 [options]” 
root1、root2分別表示要執(zhí)行同步的兩個(gè)路徑。這兩個(gè)路徑可以是本地目錄路徑，也可以是遠(yuǎn)程服務(wù)器的路徑，如ssh://username@//tmp/test 。由于同步的路徑已經(jīng)在命令行指定了，所以這里無(wú)需在profile.prf配置文件中進(jìn)行root指令的相關(guān)設(shè)置。
第三種方式：”unison root1 root2 [options]” 
這種方式相當(dāng)于執(zhí)行”unison default root1 root2”命令，即unison默認(rèn)讀取default.prf的配置。

服務(wù)器維護(hù)小知識(shí)9. 配置雙機(jī)web目錄同步

[root@show160 src]# mkdir -p /root/.unison/
[root@show160 src]# vim /root/.unison/default.prf
#Unison preferences file
root = /data/showroom/
root = ssh://[email protected]//data/showroom/
#force =
#ignore =
batch = true
maxthreads = 300
#repeat = 1
#retry = 3
owner = true
group = true
perms = -1
fastcheck = false
rsync = false
sshargs = -C
xferbycopying = true
log = true
logfile = /root/.unison/unison.log
[root@show161 tmp]# mkdir -p /root/.unison/
[root@show161 tmp]# vim /root/.unison/default.prf
#Unison preferences file
root = /data/showroom/
root = ssh://[email protected]//data/showroom/
#force =
#ignore =
batch = true
maxthreads = 300
#repeat = 1
#retry = 3
owner = true
group = true
perms = -1
fastcheck = false
rsync = false
sshargs = -C
xferbycopying = true
log = true
logfile = /root/.unison/unison.log
相關(guān)注解如下： 
force表示會(huì)以本地所指定文件夾為標(biāo)準(zhǔn)，將該目錄同步到遠(yuǎn)端。這里需要注意，如果指定了force參數(shù)，那么Unison就變成了單項(xiàng)同步了，也就是說(shuō)會(huì)以force指定的文件夾為準(zhǔn)進(jìn)行同步，類似與rsync。 
Unison雙向同步基本原理是：假如有A B兩個(gè)文件夾，A文件夾把自己的改動(dòng)同步到B，B文件夾也把自己的改動(dòng)同步到A，最后A B兩文件夾的內(nèi)容相同，是AB文件夾的合集。 
Unison雙向同步的一個(gè)缺點(diǎn)是，對(duì)于一個(gè)文件在兩個(gè)同步文件夾中都被修改時(shí)，unison是不會(huì)去同步的，因?yàn)閡nison無(wú)法判斷以那個(gè)為準(zhǔn)。 
ignore = Path表示忽略指定目錄，即同步時(shí)不同步它。 
batch = true，表示全自動(dòng)模式，接受缺省動(dòng)作，并執(zhí)行。 
-fastcheck true 表示同步時(shí)僅通過(guò)文件的創(chuàng)建時(shí)間來(lái)比較，如果選項(xiàng)為false，Unison則將比較兩地文件的內(nèi)容。 
log = true 表示在終端輸出運(yùn)行信息。 
logfile 指定輸出的log文件。
另外，Unison有很多參數(shù)，這里僅介紹常用的幾個(gè)，詳細(xì)的請(qǐng)參看Unison官方手冊(cè)。 
-auto //接受缺省的動(dòng)作，然后等待用戶確認(rèn)是否執(zhí)行。 
-batch //batch mode, 全自動(dòng)模式，接受缺省動(dòng)作，并執(zhí)行。 
-ignore xxx //增加 xxx 到忽略列表中 
-ignorecase [true|false|default] //是否忽略文件名大小寫 
-follow xxx //是否支持對(duì)符號(hào)連接指向內(nèi)容的同步 
owner = true //保持同步過(guò)來(lái)的文件屬主 
group = true //保持同步過(guò)來(lái)的文件組信息 
perms = -1 //保持同步過(guò)來(lái)的文件讀寫權(quán)限 
repeat = 1 //間隔1秒后,開始新的一次同步檢查 
retry = 3 //失敗重試 
sshargs = -C //使用ssh的壓縮傳輸方式 
xferbycopying = true” 
-immutable xxx //不變目錄，掃描時(shí)可以忽略 
-silent //安靜模式 
-times //同步修改時(shí)間 
-path xxx 參數(shù) //只同步 -path 參數(shù)指定的子目錄以及文件，而非整個(gè)目錄，-path 可以多次出現(xiàn)。
注意：Windows下的unison配置文件默認(rèn)位于C:\Documents and Settings\currentuser.unison目錄，默認(rèn)的配置文件名是default.prf。
在兩臺(tái)機(jī)器都添加如下腳本，并使用nohup方式運(yùn)行。有需要?jiǎng)t將腳本添加到/etc/rc.local中。
#/bin/bash

src="/data/showroom/"

/usr/bin/inotifywait -mrq -e create,delete,modify,move $src | while read line; do
    /usr/local/bin/unison
    echo -n "$(date +%F-%T) $line" >> /var/log/inotify.log
done

服務(wù)器維護(hù)小知識(shí)10. 總結(jié)

經(jīng)過(guò)以上介紹，我們大體知道了unison的使用方法。它的雙向同步的確給我們帶來(lái)了極大的方便，但同時(shí)也有一個(gè)缺點(diǎn)：對(duì)于一個(gè)文件在兩個(gè)同步文件夾中都被修改時(shí)，unison是不會(huì)去同步的，因?yàn)閡nison無(wú)法判斷以哪個(gè)為準(zhǔn)，需要人工干預(yù)處理，這就需要我們自己權(quán)衡利弊。
IT運(yùn)維  我們選擇北京艾銻無(wú)限
以上文章由北京艾銻無(wú)限科技發(fā)展有限公司整理