[sisyphus] Re: [mdk-re] Sisyphus mirror

[sisyphus] Re: [mdk-re] Sisyphus mirror

[Sergey S. Skulachenko]

On Tue, 23 Jan 2001 16:55:02 +0300
Aleksey Novodvorsky <aen@logic.ru> wrote:

> Уважаемые коллеги, открылось зеркало Sisyphus на ftp.chg.ru :
> ftp://ftp.chg.ru/pub/Linux/MandrakeRE/Sisyphus/
Отлично! Программа mirror с этим сервером прекрасно работает.
С уважением,
С.С.Скулаченко

[sisyphus] Sisyphus mirror

[Aleksey Novodvorsky]

Уважаемые коллеги, открылось зеркало Sisyphus на ftp.chg.ru :
ftp://ftp.chg.ru/pub/Linux/MandrakeRE/Sisyphus/
Оно будет запаздывать примерно на сутки.
Спасибо коллегам с ftp.chg.ru!
Rgrds, AEN

Re: [sisyphus] Re: [mdk-re] Sisyphus mirror

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 802 bytes --]

On Tue, Jan 23, 2001 at 01:09:40PM +0300, Sergey S. Skulachenko wrote:
> > Уважаемые коллеги, открылось зеркало Sisyphus на ftp.chg.ru :
> > ftp://ftp.chg.ru/pub/Linux/MandrakeRE/Sisyphus/
> Отлично! Программа mirror с этим сервером прекрасно работает.

Да, однако для синхронизации зеркала с основным сайтом используется rsync.
Чего и Вам желаю. :)


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@fandra.org
Software Engineer   PGP pubkey http://www.fandra.org/users/ldv/pgpkeys.html
IPLabs Linux Team   http://linux.iplabs.ru
Fandra Project      http://www.fandra.org
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [sisyphus] Re: [mdk-re] Sisyphus mirror

[Sergey S. Skulachenko]

On Wed, 24 Jan 2001 03:54:34 +0300
"Dmitry V. Levin" <ldv@fandra.org> wrote:

> > > Уважаемые коллеги, открылось зеркало Sisyphus на ftp.chg.ru :
> > > ftp://ftp.chg.ru/pub/Linux/MandrakeRE/Sisyphus/
> > Отлично! Программа mirror с этим сервером прекрасно работает.
> 
> Да, однако для синхронизации зеркала с основным сайтом используется
rsync.
> Чего и Вам желаю. :)
Тогда продолжим:
1. При работе с dial-up соединение иногда (?) рвётся. Звонилка поднимает
его, и mirror _автоматически_ продолжает закачку с прерванного места, т.е.
его не надо перезапускать. Rsync в такой способности не замечен. Это
отличие, для меня, является решающим. Ночью можно не просыпаться, если
модем протарахтел. (Конечно, автоматизировать можно всё, но mirror
изначально работает так, как мне нужно.)
2. При запуске mirror сообщает, сколько байт (в дистрибутиве!, а не
единичном файле) осталось перекачать. Это приятно. И не одна из известных
мне программ этим свойством не обладает.
	Дмитрий! Как будет посвободнее, доделайте, пожалуйста, свою Либру. Либо
поставьте другой ftp-сервер.
С уважением,
С.С.Скулаченко

Re: [sisyphus] Re: [mdk-re] Sisyphus mirror

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2502 bytes --]

On Wed, Jan 24, 2001 at 10:58:29AM +0300, Sergey S. Skulachenko wrote:
> > > > Уважаемые коллеги, открылось зеркало Sisyphus на ftp.chg.ru :
> > > > ftp://ftp.chg.ru/pub/Linux/MandrakeRE/Sisyphus/
> > > Отлично! Программа mirror с этим сервером прекрасно работает.
> > 
> > Да, однако для синхронизации зеркала с основным сайтом используется
> rsync.
> > Чего и Вам желаю. :)
> Тогда продолжим:
> 1. При работе с dial-up соединение иногда (?) рвётся. Звонилка поднимает
> его, и mirror _автоматически_ продолжает закачку с прерванного места, т.е.
> его не надо перезапускать. Rsync в такой способности не замечен. Это

rsync - это страшная сила! 
Например, есть у него такая опция: --partial.
Подробности см. rsync(1)

> отличие, для меня, является решающим. Ночью можно не просыпаться, если
> модем протарахтел. (Конечно, автоматизировать можно всё, но mirror
> изначально работает так, как мне нужно.)
> 2. При запуске mirror сообщает, сколько байт (в дистрибутиве!, а не
> единичном файле) осталось перекачать. Это приятно. И не одна из известных
> мне программ этим свойством не обладает.

У rsync есть такая опция: --stats
Вот, например, перед началом сегодняшней синхронизации я запустил
$ rsync -nvrltp --stats --delete --delete-after -e ssh /Sisyphus/ cvs.lrn:/Sisyphus/
и увидел такую статистику (без реальной синхронизации):
Number of files: 4530
Number of files transferred: 48
Total file size: 2484752621 bytes
Total transferred file size: 34973288 bytes

Резюме: все те действия, для выполнения которых требовался ftp и
вспомогательные утилиты, теперь можно сделать с помощью rsync.

> 	Дмитрий! Как будет посвободнее, доделайте, пожалуйста, свою Либру. Либо
> поставьте другой ftp-сервер.

Либра - не моя, у нее другой автор, и вряд ли я стану ее дорабатывать, она
хороша в том виде, в котором она есть.

Другой сервер - а зачем? Единственный смысл - есть пользователи, привыкшие
зеркалировать с помощью mirror & Co; что мешает им освоить rsync?

А для обновления системы с помощью MandrakeUpdate или apt-get - Либры вполне
достаточно.


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@fandra.org
Software Engineer   PGP pubkey http://www.fandra.org/users/ldv/pgpkeys.html
IPLabs Linux Team   http://linux.iplabs.ru
Fandra Project      http://www.fandra.org
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [sisyphus] Re: [mdk-re] Sisyphus mirror

[Sergey S. Skulachenko]

On Wed, 24 Jan 2001 11:31:38 +0300
"Dmitry V. Levin" <ldv@fandra.org> wrote:

> > 1. При работе с dial-up соединение иногда (?) рвётся. Звонилка
поднимает
> > его, и mirror _автоматически_ продолжает закачку с прерванного места,
> т.е.
> > его не надо перезапускать. Rsync в такой способности не замечен. Это
> 
> rsync - это страшная сила! 
> Например, есть у него такая опция: --partial.
> Подробности см. rsync(1)
Я его запускаю с такими ключиками:  -vvrltpog --delete --progress
--partial 

> У rsync есть такая опция: --stats
А вот это я почему-то упустил. Работает.

> Резюме: все те действия, для выполнения которых требовался ftp и
> вспомогательные утилиты, теперь можно сделать с помощью rsync.
Дмитрий, а как насчёт возможности продолжить закачку без перезапуска при
обрыве связи? Подробнее, как поступает mirror. При обрыве связи он
пытается продолжить закачку, потом через какое-то время переходит к
попытке принять следующий файл, стоящий в очереди, и т.д. Задание на
закачку находится на локальной машине. При восстановлении связи mirror
начнёт принимать файл из очереди, скажем, седьмой по счёту. Но начнёт!
Процесс останется. Его не надо поднимать заново. Если же линия занята
слишком долго, то тогда, конечно, процесс прекращается.

> Другой сервер - а зачем? Единственный смысл - есть пользователи,
привыкшие
> зеркалировать с помощью mirror & Co; что мешает им освоить rsync?
Дмитрий, Ваши аргументы я слушаю и тут же воспринимаю, все советы идут в
дело либо раскладываются в папочки, за что Вам громадное спасибо. А Вы мои
доводы слушаете, или что-то Вам мешает?
И просьба пояснить, зачем две команды подряд --delete --delete-after? Я
так считал: или или. И обе поотдельности их опробовал, осваивая эту
"страшную силу".
С уважением,
С.С.Скулаченко

Re: [sisyphus] Re: [mdk-re] Sisyphus mirror

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 3003 bytes --]

On Wed, Jan 24, 2001 at 01:09:50PM +0300, Sergey S. Skulachenko wrote:
> > > 1. При работе с dial-up соединение иногда (?) рвётся. Звонилка
> поднимает
> > > его, и mirror _автоматически_ продолжает закачку с прерванного места,
> > т.е.
> > > его не надо перезапускать. Rsync в такой способности не замечен. Это
> > 
> > rsync - это страшная сила! 
> > Например, есть у него такая опция: --partial.
> > Подробности см. rsync(1)
> Я его запускаю с такими ключиками:  -vvrltpog --delete --progress
> --partial 

у "--partial --progress" есть короткий эквивалент: "-P"

> > У rsync есть такая опция: --stats
> А вот это я почему-то упустил. Работает.
> 
> > Резюме: все те действия, для выполнения которых требовался ftp и
> > вспомогательные утилиты, теперь можно сделать с помощью rsync.
> Дмитрий, а как насчёт возможности продолжить закачку без перезапуска при
> обрыве связи? Подробнее, как поступает mirror. При обрыве связи он
> пытается продолжить закачку, потом через какое-то время переходит к
> попытке принять следующий файл, стоящий в очереди, и т.д. Задание на
> закачку находится на локальной машине. При восстановлении связи mirror
> начнёт принимать файл из очереди, скажем, седьмой по счёту. Но начнёт!
> Процесс останется. Его не надо поднимать заново. Если же линия занята
> слишком долго, то тогда, конечно, процесс прекращается.

Вопрос понял.
Ответ - вариации на тему:
$ while ! Ваша_rsync_команда; do :; done

Иногда бывает такая неприятность (вообще, не применительно к rsync):
tcp-соединение (а иногда и ppp-соединение) просто виснет. Тогда есть
смысл настроить параметры tcp/ip, чтобы время обнаружения зависания (т.е.
время от последнего переданного байта до разрыва связи) стало меньше.

> > Другой сервер - а зачем? Единственный смысл - есть пользователи,
> привыкшие
> > зеркалировать с помощью mirror & Co; что мешает им освоить rsync?
> Дмитрий, Ваши аргументы я слушаю и тут же воспринимаю, все советы идут в
> дело либо раскладываются в папочки, за что Вам громадное спасибо. А Вы мои
> доводы слушаете, или что-то Вам мешает?

Я пока еще не заметил ни одного преимущества mirror перед rsync.
Продемонстрируйте мне, а я постараюсь их перенести в rsync. :)

> И просьба пояснить, зачем две команды подряд --delete --delete-after? Я

Думаю, это моя дурная привычка. Хватит и одного --delete-after.

> так считал: или или. И обе поотдельности их опробовал, осваивая эту
> "страшную силу".

Пожалуй, насчет характеристики "страшная сила" я несколько погорячился -
так добрую половину пакетов в дистрибутиве можно обозвать.


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@fandra.org
Software Engineer   PGP pubkey http://www.fandra.org/users/ldv/pgpkeys.html
IPLabs Linux Team   http://linux.iplabs.ru
Fandra Project      http://www.fandra.org
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [sisyphus] Re: [mdk-re] Sisyphus mirror

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 819 bytes --]

On Wed, Jan 24, 2001 at 02:10:28PM +0300, Dmitry V. Levin wrote:
> > И просьба пояснить, зачем две команды подряд --delete --delete-after? Я
> 
> Думаю, это моя дурная привычка. Хватит и одного --delete-after.

Оказалось, что --delete-after не подразумевает --delete.
Это очень странно, и, IMHO, неправильно, так что, начиная с
rsync-2.4.6-ipl4mdk, будет исправлено.


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@fandra.org
Software Engineer   PGP pubkey http://www.fandra.org/users/ldv/pgpkeys.html
IPLabs Linux Team   http://linux.iplabs.ru
Fandra Project      http://www.fandra.org
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]