[Comm] rsync и unsafe ссылки

[Comm] rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте!

Подскажите, как с помощью rsync копировать unsafe (разованные) ссылки?
Проблема в следующем:
Я синхронизирую дерево каталогов с одной машины на другую. На source
машине rsync сервер, на destination -- rsync клиент. В
Синхронизируемом дереве каталогов есть симв. ссылки, указывающие за
пределы синхронизируемого дерева. В итоге после синхронизации этих
ссылок нет вообще. Мне же нужно чтоб после синхронизации на destination
эти ссылки присутствовали, но были разорванными. Сделать мне этого не
удается.
Ситуацию, конечно, можно смоделировать по-другому -- на одной машине.
Например создать в каталоге ./src изначально разорванную ссылку и попробовать
rsync -a ./src ./dst
в итоге в dst этой ссылки нет...

Странно что есть опция --safe-links и нет обратной ей (или я
протормозил и не нашел)

-- 
С уважением,
Yakov Hrebtov                          mailto:jake@generation.ru

Re: [Comm] rsync и unsafe ссылки

[Andrew Fefilov]

On Wed, Dec 15, 2004 at 11:37:54AM +0500, Yakov Hrebtov wrote:
> Здравствуйте!
> 
> Подскажите, как с помощью rsync копировать unsafe (разованные) ссылки?
> Проблема в следующем:
> Я синхронизирую дерево каталогов с одной машины на другую. На source
> машине rsync сервер, на destination -- rsync клиент. В
> Синхронизируемом дереве каталогов есть симв. ссылки, указывающие за
> пределы синхронизируемого дерева. В итоге после синхронизации этих
> ссылок нет вообще. Мне же нужно чтоб после синхронизации на destination
> эти ссылки присутствовали, но были разорванными. Сделать мне этого не
> удается.
> Ситуацию, конечно, можно смоделировать по-другому -- на одной машине.
> Например создать в каталоге ./src изначально разорванную ссылку и попробовать
> rsync -a ./src ./dst
> в итоге в dst этой ссылки нет...
> 
> Странно что есть опция --safe-links и нет обратной ей (или я
> протормозил и не нашел)
Из man rsync:

--copy-unsafe-links     copy links outside the source tree

Оно ? Это на М2.2. Сам не пробовал.


-- 
С уважением,
Фефилов Андрей.

Re[2]: [Comm] rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Andrew.

Вы писали 15 декабря 2004 г., 12:55:07:

AF> On Wed, Dec 15, 2004 at 11:37:54AM +0500, Yakov Hrebtov wrote:
>> Здравствуйте!
>> 
>> Подскажите, как с помощью rsync копировать unsafe (разованные) ссылки?
>> Проблема в следующем:
>> Я синхронизирую дерево каталогов с одной машины на другую. На source
>> машине rsync сервер, на destination -- rsync клиент. В
>> Синхронизируемом дереве каталогов есть симв. ссылки, указывающие за
>> пределы синхронизируемого дерева. В итоге после синхронизации этих
>> ссылок нет вообще. Мне же нужно чтоб после синхронизации на destination
>> эти ссылки присутствовали, но были разорванными. Сделать мне этого не
>> удается.
>> Ситуацию, конечно, можно смоделировать по-другому -- на одной машине.
>> Например создать в каталоге ./src изначально разорванную ссылку и попробовать
>> rsync -a ./src ./dst
>> в итоге в dst этой ссылки нет...
>> 
>> Странно что есть опция --safe-links и нет обратной ей (или я
>> протормозил и не нашел)

AF> Из man rsync:
AF> --copy-unsafe-links     copy links outside the source tree
AF> Оно ? Это на М2.2. Сам не пробовал.
Нет - это не оно (насколько я понял по кр. мере).
Из man rsync:
--copy-unsafe-links
    This  tells  rsync  to  copy the referent of symbolic links that
    point outside the  copied  tree.
Т.е. копируется то, куда указывает ссылка, а не сама ссылка.

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

Re: [Comm] rsync и unsafe ссылки

[Andrew Fefilov]

On Wed, Dec 15, 2004 at 01:00:22PM +0500, Yakov Hrebtov wrote:
> Здравствуйте, Andrew.
> 
> Вы писали 15 декабря 2004 г., 12:55:07:
> 
> AF> On Wed, Dec 15, 2004 at 11:37:54AM +0500, Yakov Hrebtov wrote:
> >> Здравствуйте!
> >> 
> >> Подскажите, как с помощью rsync копировать unsafe (разованные) ссылки?
> >> Проблема в следующем:
> >> Я синхронизирую дерево каталогов с одной машины на другую. На source
> >> машине rsync сервер, на destination -- rsync клиент. В
> >> Синхронизируемом дереве каталогов есть симв. ссылки, указывающие за
> >> пределы синхронизируемого дерева. В итоге после синхронизации этих
> >> ссылок нет вообще. Мне же нужно чтоб после синхронизации на destination
> >> эти ссылки присутствовали, но были разорванными. Сделать мне этого не
> >> удается.
> >> Ситуацию, конечно, можно смоделировать по-другому -- на одной машине.
> >> Например создать в каталоге ./src изначально разорванную ссылку и попробовать
> >> rsync -a ./src ./dst
> >> в итоге в dst этой ссылки нет...
> >> 
> >> Странно что есть опция --safe-links и нет обратной ей (или я
> >> протормозил и не нашел)
> 
> AF> Из man rsync:
> AF> --copy-unsafe-links     copy links outside the source tree
> AF> Оно ? Это на М2.2. Сам не пробовал.
> Нет - это не оно (насколько я понял по кр. мере).
> Из man rsync:
> --copy-unsafe-links
>     This  tells  rsync  to  copy the referent of symbolic links that
>     point outside the  copied  tree.
> Т.е. копируется то, куда указывает ссылка, а не сама ссылка.
Вообщем, чего-то я не допонял. Вот что у меня:

[faqa@faa tmp]$ ls -l test-rsync/
итого 0
-rw-r--r--    1 faqa     users           0 Дек 15 14:32 test.file
lrwxrwxrwx    1 faqa     users          11 Дек 15 14:38 test-out-rsync ->
../test-out

Т.е. ссылка test-out-rsync сслыается на директорию test-out, которая
находится вне исходной директории test-rsync. Дальше:

[faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/   
building file list ... done
test-rsync/
test-rsync/test-out-rsync -> ../test-out
test-rsync/test.file
wrote 177 bytes  read 36 bytes  426.00 bytes/sec
total size is 11  speedup is 0.05

[faqa@faa tmp]$ l /opt/backup/distrib/tmp/test-rsync/
итого 8
-rw-r--r--    1 faqa     users           0 Дек 15 14:32 test.file
drwxr-xr-x    2 faqa     users        4096 Дек 15 14:38 ./
lrwxrwxrwx    1 faqa     users          11 Дек 15 14:41 test-out-rsync ->
../test-out
drwxr-xr-x    3 faqa     users        4096 Дек 15 14:41 ../

Т.е. получили разорванную ссылку в destination. Вы этого хотите?

-- 
С уважением,
Фефилов Андрей.

Re[2]: [Comm] rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Andrew.

Вы писали 15 декабря 2004 г., 15:46:12:

AF> Вообщем, чего-то я не допонял. Вот что у меня:

AF> [faqa@faa tmp]$ ls -l test-rsync/
AF> итого 0
AF> -rw-r--r--    1 faqa     users           0 Дек 15 14:32 test.file
AF> lrwxrwxrwx    1 faqa     users          11 Дек 15 14:38 test-out-rsync ->
AF> ../test-out

AF> Т.е. ссылка test-out-rsync сслыается на директорию test-out, которая
AF> находится вне исходной директории test-rsync. Дальше:

AF> [faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/   
AF> building file list ... done
AF> test-rsync/
AF> test-rsync/test-out-rsync -> ../test-out
AF> test-rsync/test.file
AF> wrote 177 bytes  read 36 bytes  426.00 bytes/sec
AF> total size is 11  speedup is 0.05

AF> [faqa@faa tmp]$ l /opt/backup/distrib/tmp/test-rsync/
AF> итого 8
AF> -rw-r--r--    1 faqa     users           0 Дек 15 14:32 test.file
AF> drwxr-xr-x    2 faqa     users        4096 Дек 15 14:38 ./
AF> lrwxrwxrwx    1 faqa     users          11 Дек 15 14:41 test-out-rsync ->
AF> ../test-out
AF> drwxr-xr-x    3 faqa     users        4096 Дек 15 14:41 ../

AF> Т.е. получили разорванную ссылку в destination. Вы этого хотите?

Да, я хочу чтоб было именно так!
Только: этот пример не будет работать, если вы будете синхронизировать
с удаленной машины.
Чтоб понять мою проблему при синхронизации в пределах одной машины
попробуйте удалить Ваш файл ../test-out (т.о. разорвите ссылки,
лежащие в test-rsync/), затем удалите всё в /opt/backup/distrib/tmp/
и заново попробуйте
[faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/

после этого
ls -l /opt/backup/distrib/tmp/test-rsync/

и увидите, что там не окажется test-out-rsync!!!
В этом проблема.

Надеюсь сейчас мне удалось объяснить.
-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

Re: [Comm] rsync и unsafe ссылки

[Andrew Fefilov]

On Wed, Dec 15, 2004 at 04:06:35PM +0500, Yakov Hrebtov wrote:
> Здравствуйте, Andrew.
> 
> Вы писали 15 декабря 2004 г., 15:46:12:
> 
> AF> Вообщем, чего-то я не допонял. Вот что у меня:
> 
> AF> [faqa@faa tmp]$ ls -l test-rsync/
> AF> итого 0
> AF> -rw-r--r--    1 faqa     users           0 Дек 15 14:32 test.file
> AF> lrwxrwxrwx    1 faqa     users          11 Дек 15 14:38 test-out-rsync ->
> AF> ../test-out
> 
> AF> Т.е. ссылка test-out-rsync сслыается на директорию test-out, которая
> AF> находится вне исходной директории test-rsync. Дальше:
> 
> AF> [faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/   
> AF> building file list ... done
> AF> test-rsync/
> AF> test-rsync/test-out-rsync -> ../test-out
> AF> test-rsync/test.file
> AF> wrote 177 bytes  read 36 bytes  426.00 bytes/sec
> AF> total size is 11  speedup is 0.05
> 
> AF> [faqa@faa tmp]$ l /opt/backup/distrib/tmp/test-rsync/
> AF> итого 8
> AF> -rw-r--r--    1 faqa     users           0 Дек 15 14:32 test.file
> AF> drwxr-xr-x    2 faqa     users        4096 Дек 15 14:38 ./
> AF> lrwxrwxrwx    1 faqa     users          11 Дек 15 14:41 test-out-rsync ->
> AF> ../test-out
> AF> drwxr-xr-x    3 faqa     users        4096 Дек 15 14:41 ../
> 
> AF> Т.е. получили разорванную ссылку в destination. Вы этого хотите?
> 
> Да, я хочу чтоб было именно так!
> Только: этот пример не будет работать, если вы будете синхронизировать
> с удаленной машины.
Ну, как сказать. Вот:

[faqa@faa tmp]$ rsync -av test-rsync proxy2:tmp/
faqa@proxy2's password: 
building file list ... done
test-rsync/
test-rsync/test-out-rsync -> ../test-out
test-rsync/test.file
wrote 177 bytes  read 36 bytes  10.92 bytes/sec
total size is 11  speedup is 0.05
[faqa@faa tmp]$ ssh proxy2
faqa@proxy2's password: 
Last login: Wed Dec 15 10:46:08 2004 from faa.lan.blok-caf.ru
[faqa@proxy2 faqa]$ ls -l tmp/test-rsync/
итого 0
-rw-r--r--    1 faqa     faqa            0 Дек 15 14:32 test.file
lrwxrwxrwx    1 faqa     faqa           11 Дек 15 15:16 test-out-rsync ->
../test-out

> Чтоб понять мою проблему при синхронизации в пределах одной машины
> попробуйте удалить Ваш файл ../test-out (т.о. разорвите ссылки,
> лежащие в test-rsync/), затем удалите всё в /opt/backup/distrib/tmp/
> и заново попробуйте
> [faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/
> 
> после этого
> ls -l /opt/backup/distrib/tmp/test-rsync/
> 
> и увидите, что там не окажется test-out-rsync!!!
> В этом проблема.
Да, тут Вы правы. Но мне, честно говоря, не очень понятна необходимость
копирования битых ссылок.
 
> Надеюсь сейчас мне удалось объяснить.
Пока чисто умозрительно :)

-- 
С уважением,
Фефилов Андрей.

Re[2]: [Comm] rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Andrew.

Вы писали 15 декабря 2004 г., 16:20:29:

>> Да, я хочу чтоб было именно так!
>> Только: этот пример не будет работать, если вы будете синхронизировать
>> с удаленной машины.
AF> Ну, как сказать. Вот:

AF> [faqa@faa tmp]$ rsync -av test-rsync proxy2:tmp/
AF> faqa@proxy2's password: 
AF> building file list ... done
AF> test-rsync/
AF> test-rsync/test-out-rsync -> ../test-out
AF> test-rsync/test.file
AF> wrote 177 bytes  read 36 bytes  10.92 bytes/sec
AF> total size is 11  speedup is 0.05
AF> [faqa@faa tmp]$ ssh proxy2
AF> faqa@proxy2's password: 
AF> Last login: Wed Dec 15 10:46:08 2004 from faa.lan.blok-caf.ru
AF> [faqa@proxy2 faqa]$ ls -l tmp/test-rsync/
AF> итого 0
AF> -rw-r--r--    1 faqa     faqa            0 Дек 15 14:32 test.file
AF> lrwxrwxrwx    1 faqa     faqa           11 Дек 15 15:16 test-out-rsync ->
AF> ../test-out

Я говорил не о копировании НА удаленную машину, а о копировании С
удаленной машины -- я это только что проделал, как Вы, т.е. через ssh
и у меня тоже получилось. Но я изначально говорил, что синхронизирую с помощью rsync
сервера, а не с помощью ssh. Насколько я понимаю -- он чрутится в
каталог того модуля из которого происходит синхронизация. видимо
проблема проявляется только если ссылка указывает за пределы той
ветки, куда зачрутился rsync...

>> Чтоб понять мою проблему при синхронизации в пределах одной машины
>> попробуйте удалить Ваш файл ../test-out (т.о. разорвите ссылки,
>> лежащие в test-rsync/), затем удалите всё в /opt/backup/distrib/tmp/
>> и заново попробуйте
>> [faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/
>> 
>> после этого
>> ls -l /opt/backup/distrib/tmp/test-rsync/
>> 
>> и увидите, что там не окажется test-out-rsync!!!
>> В этом проблема.
AF> Да, тут Вы правы. Но мне, честно говоря, не очень понятна необходимость
AF> копирования битых ссылок.

Я привел простой пример для воспроизведения проблемы без необходимости
настройки rsync сервера на source машине....
И потом... сегодня ссылка разорвана, завтра нет... Я испорльзую rsync
для резервного копирования и хочу получать идентичную оригиналу
структуру каталогов/файлов/ссылок.

>> Надеюсь сейчас мне удалось объяснить.
AF> Пока чисто умозрительно :)
;-)

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Wed, Dec 15, 2004 at 04:41:43PM +0500, Yakov Hrebtov wrote:
> Но я изначально говорил, что синхронизирую с помощью rsync
> сервера, а не с помощью ssh.

Может, не надо так делать?

> Насколько я понимаю -- он чрутится в каталог того модуля из
> которого происходит синхронизация.  видимо проблема проявляется
> только если ссылка указывает за пределы той ветки, куда
> зачрутился rsync...

--""--

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Michael.

Вы писали 15 декабря 2004 г., 16:44:06:

MS> On Wed, Dec 15, 2004 at 04:41:43PM +0500, Yakov Hrebtov wrote:
>> Но я изначально говорил, что синхронизирую с помощью rsync
>> сервера, а не с помощью ssh.

MS> Может, не надо так делать?
А как? Синхронизируемые файлы имеют самые разные права, по-этому
синхронизировать нужно от root. Т.е. Вы советуете разрешить ssh
руту?

>> Насколько я понимаю -- он чрутится в каталог того модуля из
>> которого происходит синхронизация.  видимо проблема проявляется
>> только если ссылка указывает за пределы той ветки, куда
>> зачрутился rsync...

MS> --""--
Не понял :)

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Wed, Dec 15, 2004 at 04:51:35PM +0500, Yakov Hrebtov wrote:
> >> Но я изначально говорил, что синхронизирую с помощью rsync
> >> сервера, а не с помощью ssh.
> MS> Может, не надо так делать?
> А как? Синхронизируемые файлы имеют самые разные права,
> по-этому синхронизировать нужно от root. Т.е. Вы советуете
> разрешить ssh руту?

Можно повесить левый ssh, подумав над стратегией -- push или pull.
Ну и доступ ограничить.

> >> Насколько я понимаю -- он чрутится в каталог того модуля из
> >> которого происходит синхронизация.  видимо проблема
> >> проявляется только если ссылка указывает за пределы той
> >> ветки, куда зачрутился rsync...
> MS> --""--
> Не понял :)

Ну не делайте чрут.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Michael.

Вы писали 15 декабря 2004 г., 17:20:14:

>> MS> Может, не надо так делать?
>> А как? Синхронизируемые файлы имеют самые разные права,
>> по-этому синхронизировать нужно от root. Т.е. Вы советуете
>> разрешить ssh руту?

MS> Можно повесить левый ssh, подумав над стратегией -- push или pull.
поясните плз про стратегию.
MS> Ну и доступ ограничить.
понятно.

Честно говоря я не понимаю, почему нужно отказываться от rsyncd.
Одно преимущество точно есть -- скорость выше, чем по ssh.

Мне кажется, что проблема то все-таки существует -- по крайней мере
локально rsync битые ссылки не копирует. По-моему это неправильно.

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Wed, Dec 15, 2004 at 05:32:08PM +0500, Yakov Hrebtov wrote:
> MS> Можно повесить левый ssh, подумав над стратегией -- push или pull.
> поясните плз про стратегию.

Кто инициирует соединение -- бэкап-сервер или его цель? (скорее
всего, первое)

> Честно говоря я не понимаю, почему нужно отказываться от rsyncd.
> Одно преимущество точно есть -- скорость выше, чем по ssh.
> Мне кажется, что проблема то все-таки существует -- по крайней мере
> локально rsync битые ссылки не копирует. По-моему это неправильно.

Вы решите, что для Вас проблемы, а что -- мельницы.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Michael.

Вы писали 15 декабря 2004 г., 17:34:40:

MS> On Wed, Dec 15, 2004 at 05:32:08PM +0500, Yakov Hrebtov wrote:
>> MS> Можно повесить левый ssh, подумав над стратегией -- push или pull.
>> поясните плз про стратегию.

MS> Кто инициирует соединение -- бэкап-сервер или его цель? (скорее
MS> всего, первое)

Конечно, соединение инициирует бэкап-сервер. Он тянет данные с разных
серверов.

Т.е. Вы предлагаете для синхронизации повесить специальный ssh сервер,
зачрутить его, куда надо и дать для него рутовый вход?
Только, насколько я понимаю, весить его придется на неиспользуемый
порт. А rsync сможет работать с ssh по другому порту?

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Wed, Dec 15, 2004 at 05:50:11PM +0500, Yakov Hrebtov wrote:
> Только, насколько я понимаю, весить его придется на
> неиспользуемый порт. А rsync сможет работать с ssh по другому
> порту?

Ммм... кстати да, не подумал.  Ну в крайнем случае (если не
выйдет rsync -e 'ssh -p NNNN') сделать обвязку (baksh какой)
и rsync -e baksh :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Michael.

Вы писали 15 декабря 2004 г., 17:52:34:

MS> On Wed, Dec 15, 2004 at 05:50:11PM +0500, Yakov Hrebtov wrote:
>> Только, насколько я понимаю, весить его придется на
>> неиспользуемый порт. А rsync сможет работать с ssh по другому
>> порту?

MS> Ммм... кстати да, не подумал.  Ну в крайнем случае (если не
MS> выйдет rsync -e 'ssh -p NNNN') сделать обвязку (baksh какой)
MS> и rsync -e baksh :)

Идея понятна.

Но терзают меня смутные сомненья, что когда я sshd зачручу в каталог с
данными  (если  вообще  у  меня это получится), то получу то -- с чего
начал,  ту-же самую проблему... Потому что ссылка для зачрученного ssh
окажется битой и rsync поведет себя также, как и в случае с локальными
битыми ссылками.

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

Re: [Comm] Re: rsync и unsafe ссылки

[Michael Isachenkov]

я, конечно, понимаю, что это костыль, но м.б., tar'ить по крону, потом забирать на бэкапный сервер?

>> On Wed, Dec 15, 2004 at 05:50:11PM +0500, Yakov Hrebtov wrote:
> > Только, насколько я понимаю, весить его придется на
> > неиспользуемый порт. А rsync сможет работать с ssh по другому
> > порту?
> 
> Ммм... кстати да, не подумал.  Ну в крайнем случае (если не
> выйдет rsync -e 'ssh -p NNNN') сделать обвязку (baksh какой)
> и rsync -e baksh :)
> 


-- 
Best regards, Michael Isachenkov

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Wed, Dec 15, 2004 at 04:06:43PM +0300, Michael Isachenkov wrote:
> я, конечно, понимаю, что это костыль, но м.б., tar'ить по
> крону, потом забирать на бэкапный сервер?

Это было отброшено первым -- в случае небольших изменений на
большом объёме очень уж проигрышно.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re[2]: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

On Wed, Dec 15, 2004 at 04:06:43PM +0300, Michael Isachenkov wrote:
> я, конечно, понимаю, что это костыль, но м.б., tar'ить по
> крону, потом забирать на бэкапный сервер?

Плюсом к тому, что Вам ответил Михаил является то, что с помощью rsync
и жестких ссылок я имею возможность очень эффективно хранить дневные,
недельные, месячные и т.д. срезы данных. Места это занимает очень мало
(вобщем как инкрементальные копии), и при этом чтобы достать данные на
определенную дату, я не должен делать ничего (на больших объемах это
существенный плюс) -- просто зайти в каталог со снапшотом на соотв. дату.

Для хранения же архивов tar нужно будет еще место поискать, и чтобы
потом найти нужную инфу распаковать, возможно, не один архив...

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

Re: Re[2]: [Comm] Re: rsync и unsafe ссылки

[Michael Isachenkov]

если потрахаться, можно сделать и инкрементальный бэкап. а вообще, почему бы не воспользоваться спецсофтом?

>> Плюсом к тому, что Вам ответил Михаил является то, что с помощью rsync
> и жестких ссылок я имею возможность очень эффективно хранить дневные,
> недельные, месячные и т.д. срезы данных. Места это занимает очень мало
> (вобщем как инкрементальные копии), и при этом чтобы достать данные на
> определенную дату, я не должен делать ничего (на больших объемах это
> существенный плюс) -- просто зайти в каталог со снапшотом на соотв. дату.
> 
> Для хранения же архивов tar нужно будет еще место поискать, и чтобы
> потом найти нужную инфу распаковать, возможно, не один архив...

-- 
Best regards, Michael Isachenkov

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Thu, Dec 16, 2004 at 09:30:55AM +0500, Yakov Hrebtov wrote:
> Плюсом к тому, что Вам ответил Михаил является то, что с
> помощью rsync и жестких ссылок я имею возможность очень
> эффективно хранить дневные, недельные, месячные и т.д. срезы

Есть проблемка -- это подходит для неизменяемых архивов.
Получить изменение во всех "копиях" за последний год,
подкорректировав текущий тугамент -- большинству не улыбнётся.

Т.е. стоит хорошо понимать, что такое хардлинки, пользуясь ими.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Michael.

Вы писали 18 декабря 2004 г., 0:28:09:

MS> On Thu, Dec 16, 2004 at 09:30:55AM +0500, Yakov Hrebtov wrote:
>> Плюсом к тому, что Вам ответил Михаил является то, что с
>> помощью rsync и жестких ссылок я имею возможность очень
>> эффективно хранить дневные, недельные, месячные и т.д. срезы

MS> Есть проблемка -- это подходит для неизменяемых архивов.
MS> Получить изменение во всех "копиях" за последний год,
MS> подкорректировав текущий тугамент -- большинству не улыбнётся.

Если  rsync  принимает  решение,  что  какой-то  файл изменился, то он
прежде  всего  "отлинковывает"  его на принимающей стороне, т.е. новая
версия файла на принимающей стороне будет иметь другой inode :-) Таким
образом,  измененной  оказывается  только посл. версия. Все предыдущие
"копии  за  последний  год"  останутся  старыми  и, как и раньше будут
ссылаться на одну -- стурую inode!

MS> Т.е. стоит хорошо понимать, что такое хардлинки, пользуясь ими.
Конечно!



-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

[Comm] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Mon, Dec 20, 2004 at 09:51:21AM +0500, Yakov Hrebtov wrote:
> Если  rsync  принимает  решение,  что  какой-то  файл
> изменился, то он прежде  всего  "отлинковывает"  его на
> принимающей стороне, т.е. новая версия файла на принимающей
> стороне будет иметь другой inode :-) Таким образом,  измененной
> оказывается  только посл. версия. Все предыдущие "копии  за
> последний  год"  останутся  старыми  и, как и раньше будут
> ссылаться на одну -- стурую inode!

Я к тому, что нельзя делать хардлинк на рабочую копию, собственно.
Чтоб уж совсем text/plain :-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Michael.

Вы писали 20 декабря 2004 г., 13:06:56:

MS> Я к тому, что нельзя делать хардлинк на рабочую копию, собственно.
MS> Чтоб уж совсем text/plain :-)

А... Вон Вы про что. Я просто до этого как-то не додумался :-)
Отличное решение проблемы резервного копирования получилось бы ;-)

-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

Re: [Comm] Re: rsync и unsafe ссылки

[Mike Lykov]

В сообщении от Среда 15 Декабрь 2004 15:51 Yakov Hrebtov написал:

> А как? Синхронизируемые файлы имеют самые разные права, по-этому
> синхронизировать нужно от root. Т.е. Вы советуете разрешить ssh
> руту?

можно, наверно, с паторизацией по ключу, ессно. _не_ по паролю ;)

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re[2]: [Comm] Re: rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Mike.

Вы писали 15 декабря 2004 г., 18:19:05:

ML> В сообщении от Среда 15 Декабрь 2004 15:51 Yakov Hrebtov написал:

>> А как? Синхронизируемые файлы имеют самые разные права, по-этому
>> синхронизировать нужно от root. Т.е. Вы советуете разрешить ssh
>> руту?

ML> можно, наверно, с паторизацией по ключу, ессно. _не_ по паролю ;)

Ясное дело по ключу. Никто по ночам пароли вводить не собирается :)
...и expect использовать тоже
-- 
С уважением,
 Yakov                          mailto:jake@generation.ru

[Comm] [JT] Re: rsync и unsafe ссылки

[Michael Shigorin]

On Wed, Dec 15, 2004 at 05:19:05PM +0400, Mike Lykov wrote:
> можно, наверно, с паторизацией по ключу
                    ^^^^^^^^^^^^
Это как -- признание отцовства по ключу? :))

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] rsync и unsafe ссылки

[Andrew Fefilov]

On Wed, Dec 15, 2004 at 04:41:43PM +0500, Yakov Hrebtov wrote:
> Здравствуйте, Andrew.
> 
> Вы писали 15 декабря 2004 г., 16:20:29:
> 
> >> Да, я хочу чтоб было именно так!
> >> Только: этот пример не будет работать, если вы будете синхронизировать
> >> с удаленной машины.
> AF> Ну, как сказать. Вот:
> 
> AF> [faqa@faa tmp]$ rsync -av test-rsync proxy2:tmp/
> AF> faqa@proxy2's password: 
> AF> building file list ... done
> AF> test-rsync/
> AF> test-rsync/test-out-rsync -> ../test-out
> AF> test-rsync/test.file
> AF> wrote 177 bytes  read 36 bytes  10.92 bytes/sec
> AF> total size is 11  speedup is 0.05
> AF> [faqa@faa tmp]$ ssh proxy2
> AF> faqa@proxy2's password: 
> AF> Last login: Wed Dec 15 10:46:08 2004 from faa.lan.blok-caf.ru
> AF> [faqa@proxy2 faqa]$ ls -l tmp/test-rsync/
> AF> итого 0
> AF> -rw-r--r--    1 faqa     faqa            0 Дек 15 14:32 test.file
> AF> lrwxrwxrwx    1 faqa     faqa           11 Дек 15 15:16 test-out-rsync ->
> AF> ../test-out
> 
> Я говорил не о копировании НА удаленную машину, а о копировании С
Да, тут я немного ошибся, извините. Но как Вы справедливо заметили
ниже, работает и туда и сюда (когда писал, я проверял :) )

> удаленной машины -- я это только что проделал, как Вы, т.е. через ssh
> и у меня тоже получилось. Но я изначально говорил, что синхронизирую с помощью rsync
> сервера, а не с помощью ssh. Насколько я понимаю -- он чрутится в
> каталог того модуля из которого происходит синхронизация. видимо
> проблема проявляется только если ссылка указывает за пределы той
> ветки, куда зачрутился rsync...
Видимо так.
Может все-таки использовать ssh, а не rsync-сервер ? создать служебного
пользователся, сделать его владельцем каталога, который нужно бэкапить, и
- вперед. Или Вы хотите бэкапить начиная с корня? Тогда надо, веротяно,
  подумать над другими решениями. Могет вот Миша Шигорин чего присоветует.
 
> >> Чтоб понять мою проблему при синхронизации в пределах одной машины
> >> попробуйте удалить Ваш файл ../test-out (т.о. разорвите ссылки,
> >> лежащие в test-rsync/), затем удалите всё в /opt/backup/distrib/tmp/
> >> и заново попробуйте
> >> [faqa@faa tmp]$ rsync -av test-rsync /opt/backup/distrib/tmp/
> >> 
> >> после этого
> >> ls -l /opt/backup/distrib/tmp/test-rsync/
> >> 
> >> и увидите, что там не окажется test-out-rsync!!!
> >> В этом проблема.
> AF> Да, тут Вы правы. Но мне, честно говоря, не очень понятна необходимость
> AF> копирования битых ссылок.
> 
> Я привел простой пример для воспроизведения проблемы без необходимости
> настройки rsync сервера на source машине....
> И потом... сегодня ссылка разорвана, завтра нет... Я испорльзую rsync
> для резервного копирования и хочу получать идентичную оригиналу
> структуру каталогов/файлов/ссылок.
> 
> >> Надеюсь сейчас мне удалось объяснить.
> AF> Пока чисто умозрительно :)
> ;-)
> 
> -- 
> С уважением,
>  Yakov                          mailto:jake@generation.ru
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> https://lists.altlinux.ru/mailman/listinfo/community

-- 
С уважением,
Фефилов Андрей.

Re[2]: [Comm] rsync и unsafe ссылки

[Yakov Hrebtov]

Здравствуйте, Andrew.

Вы писали 15 декабря 2004 г., 17:08:04:

AF> Может все-таки использовать ssh, а не rsync-сервер ? создать служебного
AF> пользователся, сделать его владельцем каталога, который нужно бэкапить, и
AF> - вперед. Или Вы хотите бэкапить начиная с корня? Тогда надо, веротяно,
AF>   подумать над другими решениями. Могет вот Миша Шигорин чего присоветует.
 
Копируется оч. большое
(~300000 файлов = ~120МБ) дерево файлов -- это каталоги пользователей,
которые работают через самбу. Файл сервер вобщем.
1. Понятно, что файлы в этом дереве имеют различные права. Единственный,
кто может иметь доступ ко всем файлам -- это root (правда есть еще наверное
вариант с использованием acl). Таким образом мне нужно иметь ssh от
root.
2. Я конечно не очень тщательно тестировал, но тестировал:
Синхронизация через rsync-сервер идет быстрее, чем через ssh. Для
большого дерева может быть намного дольше через sshd.

По-этому я и решил в свое время rsyncd использовать.
-- 
С уважением,
 Yakov                          mailto:jake@generation.ru