[sisyphus] [OT] Problem with file timestamps

[sisyphus] [OT] Problem with file timestamps

[Ivan Adzhubei]

Приветствую!

Вопрос наверное не по теме рассылки, но пока на машинах стоял Мастер и
ядро 2.4.18 - все было нормально. Сейчас всюду стоит 2.4.20 и последний
Сизиф, обновляемый практически ежедневно. И вот какая вылезла
проблема...

Вводные: имеется удаленный фтп-архив за океаном из примерно 20,000
файлов общим объемом около 4 гигабайт, периодически обновляемый.
Нужно иметь актуальное содержимое этого архива на локальной
машине. Имеется бесплатный толстый канал за океан в одном месте и сильно
платный тонкий - в другом.

Алгоритм решения: зеркалируем архив на машине привязаной к бесплатному
каналу с помощью lftp (протокол rsync удаленный сервер не поддерживает,
только ftp). Архивируем получившиеся 4 гигабайта rar-ом, нарезая архив
томами по 700 метров. Кладем тома на RW болванки, берем ноги в руки и
бежим на вторую машину, раскручиваем, наслаждаемся.

Проблема: периодически удаленный фтп-архив обновляется незначительно,
скажем, 100-200 файлов из 20,000. В таких случаях природная лень берет
верх и я запускаю скрипт зеркалирования по фтп прямо на машине с платным
каналом. Напомню - на ней уже лежит содержимое архива с гарантией
актуальное на 99%. Но lftp начинает качать все файлы подряд! Выяснилось,
что файлы прошедшие транспортировку с одной машины на другую как описано
выше на второй (target) машине получают временной штамп ровно на одну
секунду меньше чем они имели на первой (source) и на удаленном
фтп-сервере 8-(. Естественно, протокол зеркалирования lftp считает их
устаревшими и хочет все обновить. Этот странный глюк с timestamps
вылезает _только_ при переносе файлов вышеозначенным способом с одной
машины на другую. Если весь алгоритм повторить дословно на одной и той
же машине (что на первой, что на второй) - штампы на файлах сохраняются
правильные. То есть rar сам по себе не виноват (я естественно грешил на
него).

Вопрос: откуда могут расти ноги у этого глюка? Повторяю - на Мастере
этого глюка не наблюдается. Файловая система всегда была и есть -
reiserfs 3.6.x.

-- 
Иван

P.S. Если кто посоветует другой способ нарезания архива на куски
заданного размера - буду очень признателен. Мне кроме rar-а ничего
мало-мальски удобного найти не удалось, а писать самому нет времени.

Re: [sisyphus] [OT] Problem with file timestamps

[Sviatoslav Sviridov]

On Fri, 31 Jan 2003 23:15:21 +0300
Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:

> ....
> P.S. Если кто посоветует другой способ нарезания архива на куски
> заданного размера - буду очень признателен. Мне кроме rar-а ничего
> мало-мальски удобного найти не удалось, а писать самому нет времени.

tar + split?

-- 
Sviatoslav Sviridoff
// Lintec Project/Minsk // PIN AG/Berlin //
-- 
Only people with names beginning with 'A' are getting mail this week (a
la Microsoft)

Re: [sisyphus] [OT] Problem with file timestamps

[Ivan Adzhubei]

On Fri, 31 Jan 2003 21:27:26 +0300
Sviatoslav Sviridov <svd@lintec.minsk.by> wrote:

> On Fri, 31 Jan 2003 23:15:21 +0300
> Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:
> 
> > ....
> > P.S. Если кто посоветует другой способ нарезания архива на куски
> > заданного размера - буду очень признателен. Мне кроме rar-а ничего
> > мало-мальски удобного найти не удалось, а писать самому нет времени.
> 
> tar + split?

Все решение с использованием (tar|cpio)+split страдают одним неудобством
- чтобы проверить целостность файлов после всех операций с
архивированием/нарезкой на CDRW/разархивированием приходится сначала
восстановить весь архив целиком на целевой машине, раскрутить, и только
потом проверять пофайлово. Это не очень удобно, да и надежность проверки
целостности для файлов сжатых compress (а им пользуются владельцы
исходного фтп-архива) увы - близка к нулю, это я проверил на себе. То
есть файлы бьются, а uncompress и gunzip -t утверждают, что с ними все в
порядке. Или надо генерить MD5SUM самому, тоже доп. головная боль.

Решение типа zip+split (или zipsplit) лучше, поскольку обеспечивают CRC
check на уровне всего архива, но все равно требует восстановления на
целевой машине полного архива из кусков, что не очень удобно. Но видимо
я попробую этот вариант, хотя бы для проверки.

-- 
Иван

Re: [sisyphus] [JT] Problem with file timestamps

[Sergey S. Skulachenko]

On Fri, 31 Jan 2003 23:45:03 +0300
Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:

> On Fri, 31 Jan 2003 21:27:26 +0300
> Sviatoslav Sviridov <svd@lintec.minsk.by> wrote:
> 
> > On Fri, 31 Jan 2003 23:15:21 +0300
> > Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:

> > tar + split?
> 
> Все решение с использованием (tar|cpio)+split страдают одним

Не лучше ли посмотреть в сторону средств зеркалирования?
Например, в mirror, точно, есть опция исправления времени
создания файла. И я ею активно пользовался именно при всяких
искусственных схемах переноса файлов (с помощью Win-машины на
работе, а она вытворяет...) И дома почти никакого трафика.

_____________
С уважением,
С.С.Скулаченко

[sisyphus] [OT] Problem with file timestamps

[Ivan Adzhubei]

FYI: Проблема была все же в RAR'е, как я и подозревал. Сегодня Рошаль
мне ответил:

> From: Eugene Roshal <roshal@rarlab.com>
> To: Ivan Adzhubei <ivan@protein.bio.msu.su>
> Subject: Re: RAR 3.11 for Linux bug report
> Date: Sun, 2 Feb 2003 02:49:48 +0500
> 
> Hello,
> 
> Дело в том, что время в RAR архивах сейчас хранится в DOS FAT
> формате, с двухсекундной точностью. Я собираюсь устранить
> двухсекундное ограничение в следующих версиях.
> 
> Eugene

-- 
Иван

Re: [sisyphus] [OT] Problem with file timestamps

[Sviatoslav Sviridov]

On Fri, 31 Jan 2003 23:45:03 +0300
Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:

> > ...
> > tar + split?
> 
> Все решение с использованием (tar|cpio)+split страдают одним
> неудобством- чтобы проверить целостность файлов после всех операций с
> архивированием/нарезкой на CDRW/разархивированием приходится сначала
> восстановить весь архив целиком на целевой машине, раскрутить, и
> только потом проверять пофайлово. Это не очень удобно, да и надежность
> проверки целостности для файлов сжатых compress (а им пользуются
> владельцы исходного фтп-архива) увы - близка к нулю, это я проверил на
> себе. То есть файлы бьются, а uncompress и gunzip -t утверждают, что с
> ними все в порядке. Или надо генерить MD5SUM самому, тоже доп.
> головная боль.
> 
> Решение типа zip+split (или zipsplit) лучше, поскольку обеспечивают
> CRC check на уровне всего архива, но все равно требует восстановления
> на целевой машине полного архива из кусков, что не очень удобно. Но
> видимо я попробую этот вариант, хотя бы для проверки.


Как вариант: tar cf + rar -m5 -rr или tar cjf + rar -m0 -rr :)

-- 
Sviatoslav Sviridoff
// Lintec Project/Minsk // PIN AG/Berlin //
-- 
Breadth-first search is the bulldozer of science.
		-- Randy Goebel

Re: [sisyphus] [OT] Problem with file timestamps

[Alexandre Prokoudine]

On Fri, 31 Jan 2003 23:15:21 +0300
Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:

Вопрос совсем не по рассылке. А как Вы переводите timestamp?

-- 
Alexandre Prokoudine
ALT Linux Documentation Team
JID: prokoudine@jabber.org

Re: [sisyphus] [OT] Problem with file timestamps

[Илья Брызгалов]

В Mon, 3 Feb 2003 12:41:07 +0300 Alexandre Prokoudine <avp@altlinux.ru>
сообщил следующее:

> On Fri, 31 Jan 2003 23:15:21 +0300
> Ivan Adzhubei <ivan@protein.bio.msu.su> wrote:
> 
> Вопрос совсем не по рассылке. А как Вы переводите timestamp?
Холодная зима нынче. Как у вас в районе топют?
У нас не топют, сами тонут по пьянке. :-)
Штамп времени.
-- 
===================-iLL-======================+
Илья Брызгалов ака iLL - Краснодарское РУМН
    _ I don't smoke, so wish to you!
   (_)  ___    ___   http://illinux.boom.ru/
  /  / /  /   /  /   mailto:ill@krumn.oilnet.ru
 /  / /  /__ /  /__  JID:illinux@jabber.ru
/__/ /_____//_____/  ICQ:43835329
ALT Linux Sisyphus (20030129)
============-Linux User #301257-==============+