[Comm] Синхронизация каталогов.

[Comm] Синхронизация каталогов.

[Vladimir Karpinsky]

Здравствуйте!

Ищу инструмент для синхронизации каталогов. Режим синхронизации аналогичен 
восстановлению из резервной копии --- всё новое удаляется или замещается 
старым. Каталоги локальные (один подключён по NFS), объём достаточно 
большой как по занимаемому месту (сейчас ~50 ГБ), так и по количеству 
файлов, но изменений ожидается немного. Хочется достаточно шустрой работы.

Смотрю на unison, но такого режима пока не нашёл, он всё норовит старое 
новым заменить...

-- 
	С уважением,
		Владимир.

Re: [Comm] Синхронизация каталогов.

[Dmitry Chistikov]

Vladimir Karpinsky, Feb. 05, 2012, 15:08 +0400:
> Ищу инструмент для синхронизации каталогов. Режим синхронизации аналогичен 
> восстановлению из резервной копии --- всё новое удаляется или замещается
> старым. [...]

Опции rsync(1) изучали?

-- 
Дмитрий Чистиков

Re: [Comm] Синхронизация каталогов.

[Vladimir Karpinsky]

05.02.2012 15:12, Dmitry Chistikov пишет:
> Vladimir Karpinsky, Feb. 05, 2012, 15:08 +0400:
 > Режим синхронизации аналогичен восстановлению из резервной копии --- всё
 > новое удаляется или замещается старым.

Неправильно сформулировал --- все новые файлы/каталоги удаляются, 
изменённые файлы замещаются файлами из исходной папки. Побитовое сравнение 
делать не обязательно и даже вредно (из-за скорости

>> Ищу инструмент для синхронизации каталогов. Режим синхронизации аналогичен
>> восстановлению из резервной копии --- всё новое удаляется или замещается
>> старым. [...]
>
> Опции rsync(1) изучали?

Про rsync  я думал, но есть 2 вопроса: м.б. есть более эффективный 
инструмент для локального использования, когда не нужны сетевые функции; 
второе --- нельзя синхронизировать 2 первых попавшихся каталога --- главный 
надо прописать в rsyncd.conf, хотя для стационарного случая впоне пригодно.


-- 
	С уважением,
		Владимир.

Re: [Comm] Синхронизация каталогов.

[Vladimir Karpinsky]

05.02.2012 15:24, Vladimir Karpinsky пишет:
> второе --- нельзя синхронизировать 2 первых попавшихся каталога --- главный
> надо прописать в rsyncd.conf, хотя для стационарного случая впоне пригодно.

Был не прав. Всё можно сделать.

-- 
	С уважением,
		Владимир.

Re: [Comm] Синхронизация каталогов.

[Dmitry Chistikov]

Vladimir Karpinsky, Feb. 05, 2012, 15:24 +0400:
> Неправильно сформулировал --- все новые файлы/каталоги удаляются, 
> изменённые файлы замещаются файлами из исходной папки.

--delete и компания.

> Побитовое сравнение делать не обязательно и даже вредно (из-за скорости

См. описание умолчаний в руководстве в районе --ignore-times и немного ниже.

-- 
Дмитрий Чистиков

Re: [Comm] Синхронизация каталогов.

[Michael Shigorin]

On Sun, Feb 05, 2012 at 03:24:34PM +0400, Vladimir Karpinsky wrote:
> >Опции rsync(1) изучали?
> Про rsync  я думал, но есть 2 вопроса: м.б. есть более
> эффективный инструмент для локального использования, когда не
> нужны сетевые функции;

Он прекрасно работает локально.

> второе --- нельзя синхронизировать 2 первых попавшихся каталога
> --- главный надо прописать в rsyncd.conf, хотя для
> стационарного случая впоне пригодно.

Да ладно:

mkdir a b a/c
touch a/1 a/c/2
rsync -Pav a/ b/
ls -lR b

(крайне рекомендую всегда использовать trailing slashes
при синхронизации каталогов, подробнее -- в мане)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Синхронизация каталогов.

[Dmitry Derjavin]

On Mon, Feb 06 2012 at 15:36, Michael Shigorin wrote:

>> Про rsync  я думал, но есть 2 вопроса: м.б. есть более
>> эффективный инструмент для локального использования, когда не
>> нужны сетевые функции;
>
> Он прекрасно работает локально.

Более того, он и есть «та самая» утилита копирования с progress-bar-ом!

Буквально, "--progress".

-- 
~dd

Re: [Comm] Синхронизация каталогов.

[Vladimir Karpinsky]

06.02.2012 15:36, Michael Shigorin пишет:
> On Sun, Feb 05, 2012 at 03:24:34PM +0400, Vladimir Karpinsky wrote:
>>> Опции rsync(1) изучали?
>> Про rsync  я думал, но есть 2 вопроса: м.б. есть более
>> эффективный инструмент для локального использования, когда не
>> нужны сетевые функции;
>
> Он прекрасно работает локально.
>
>> второе --- нельзя синхронизировать 2 первых попавшихся каталога
>> --- главный надо прописать в rsyncd.conf, хотя для
>> стационарного случая впоне пригодно.
>
> Да ладно:

Я уже принёс свои извинения ;-)

-- 
	С уважением,
		Владимир.

Re: [Comm] Синхронизация каталогов.

[gBopHuk_alt]

В Вск, 05/02/2012 в 15:08 +0400, Vladimir Karpinsky пишет:
> Здравствуйте!
> 
> Ищу инструмент для синхронизации каталогов. Режим синхронизации аналогичен 
> восстановлению из резервной копии --- всё новое удаляется или замещается 
> старым. Каталоги локальные (один подключён по NFS), объём достаточно 
> большой как по занимаемому месту (сейчас ~50 ГБ), так и по количеству 
> файлов, но изменений ожидается немного. Хочется достаточно шустрой работы.
> 
> Смотрю на unison, но такого режима пока не нашёл, он всё норовит старое 
> новым заменить...
> 
> -- 

Существует cync2, вроде заточенный под такие нужды rsync, пока сам
разбираюсь с ней. Если найдёте работающий вариант с rsync, выложите
пожалуйста, инструкцию как делали. 

Re: [Comm] Синхронизация каталогов.

[Vladimir Karpinsky]

07.02.2012 16:00, gBopHuk_alt пишет:
> Существует cync2, вроде заточенный под такие нужды rsync, пока сам
> разбираюсь с ней. Если найдёте работающий вариант с rsync, выложите
> пожалуйста, инструкцию как делали.

Выше по треду Михаил Шигорин уже озвучил команду, в моём случае надо 
добавить удаление файлов несуществующих в исходном каталоге. Стало быть 
получается так:

rsync -Pav --delete /path/source_dir /path.target_dir
или
rsync -Pav --delete-after /path/source_dir /path.target_dir

-P и -v потом можно будет убрать, добавить наоборот -q, а также по вкусу 
добавить -o, -g, --stats, --partial --log-file= и т.п.

Синхронизация каталогов объёмом более 50 ГБ и большим количеством 
файлов-подкаталогов с двумя различающимися файлами заняло около 4 минут. 
Собственно файлы скопировались почти мгновенно, практически всё время занял 
процесс сравнения.

-- 
	С уважением,
		Владимир.

Re: [Comm] Синхронизация каталогов.

[gBopHuk_alt]

В Срд, 08/02/2012 в 13:03 +0400, Vladimir Karpinsky пишет:
> rsync -Pav --delete /path/source_dir /path.target_dir
> или
> rsync -Pav --delete-after /path/source_dir /path.target_dir
> 
> -P и -v потом можно будет убрать, добавить наоборот -q, а также по
> вкусу 
> добавить -o, -g, --stats, --partial --log-file= и т.п. 

А не могли бы Вы написать все команды, которыми пользовались. Хочу
написать графическую преблуду для таких частных случаев =)))

Re: [Comm] Синхронизация каталогов.

[Vladimir Karpinsky]

08.02.2012 21:08, gBopHuk_alt пишет:
> В Срд, 08/02/2012 в 13:03 +0400, Vladimir Karpinsky пишет:
>> rsync -Pav --delete /path/source_dir /path.target_dir
>> или
>> rsync -Pav --delete-after /path/source_dir /path.target_dir
>>
>> -P и -v потом можно будет убрать, добавить наоборот -q, а также по
>> вкусу
>> добавить -o, -g, --stats, --partial --log-file= и т.п.
>
> А не могли бы Вы написать все команды, которыми пользовались. Хочу
> написать графическую преблуду для таких частных случаев =)))

Я не могу сказать, что пользуюсь большим количеством команд, список:

rsync -L site::path

ну и выполняемое триады (по 3 адресам) каждые 10 минут уже несколько лет:

rsync -aqz --no-p --no-g --chmod=u=rw,go=r --stats --log-file=file.log 
--backup --backup-dir=SNAPSHOT_DIR --timeout=60 --delete-after IP::Data 
DATA_DIR

-- 
	С уважением,
		Владимир.