[sisyphus] rsync.altlinux.org - changed mtime of some *.src.rpm in Sisyphus

[sisyphus] rsync.altlinux.org - changed mtime of some *.src.rpm in Sisyphus

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 2488 bytes --]

Hello!

Вот уже несколько раз за последний месяц у некоторых файлов *.src.rpm
в репозитории Sisyphus почему-то меняется mtime, на следующий день
возвращается назад.  Например, сегодня:

$ rsync --no-motd rsync.altlinux.org::ALTLinux/Sisyphus/files/SRPMS/4th\*
-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/23/files/SRPMS/4th\*
-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm

(т.е., портится и основной репозиторий, и archive).

Вчера mtime было правильным:

$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/22/files/SRPMS/4th\*
-rw-r--r--      372028 2008/12/27 04:06:05 4th-3.5c3-alt4.src.rpm
-rw-r--r--     1137749 2009/01/24 01:04:31 4th-doc-pdf-3.5c3-alt3.src.rpm

А вот ещё несколько дней с неверным mtime:

$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/16/files/SRPMS/4th\*
-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/09/files/SRPMS/4th\*
-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/02/files/SRPMS/4th\*
-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm

Содержимое файлов при этом совпадает - отличается только mtime.
Происходит это уже несколько раз с некоторым примерно одним и тем же
набором src.rpm суммарным размером более 6 ГБ, в результате при
попытке создания локального зеркала с сохранением нескольких
предыдущих срезов теряется куча места.

$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/23/files/SRPMS/ > list-20100823  
$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/22/files/SRPMS/ > list-20100822
$ ( export LC_ALL=C; cat list-20100823 list-20100822 | grep -v '\.$' | sort -k5,5 -s | uniq | uniq -f4 -d ) > bad-mtime
$ wc -l bad-mtime
4742 bad-mtime
$ awk 'BEGIN { s=0 } { s=s+$2 } END { print s }' bad-mtime
6772609324

Хорошо бы найти источник этого безобразия и починить.

-- 
Sergey Vlasov

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [sisyphus] rsync.altlinux.org - changed mtime of some *.src.rpm in Sisyphus

[Andrey Liakhovets]

On Mon, 23 Aug 2010 12:11:54 +0400 Sergey Vlasov wrote:
>Hello!
>
>Вот уже несколько раз за последний месяц у некоторых файлов *.src.rpm
>в репозитории Sisyphus почему-то меняется mtime, на следующий день
>возвращается назад.  Например, сегодня:
>
>$ rsync --no-motd rsync.altlinux.org::ALTLinux/Sisyphus/files/SRPMS/4th\*
>-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
>-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
>$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/23/files/SRPMS/4th\*
>-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
>-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
>
>(т.е., портится и основной репозиторий, и archive).
>
>Вчера mtime было правильным:
>
>$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/22/files/SRPMS/4th\*
>-rw-r--r--      372028 2008/12/27 04:06:05 4th-3.5c3-alt4.src.rpm
>-rw-r--r--     1137749 2009/01/24 01:04:31 4th-doc-pdf-3.5c3-alt3.src.rpm

...skip...

>Содержимое файлов при этом совпадает - отличается только mtime.
>Происходит это уже несколько раз с некоторым примерно одним и тем же
>набором src.rpm суммарным размером более 6 ГБ, в результате при
>попытке создания локального зеркала с сохранением нескольких
>предыдущих срезов теряется куча места.

...skip...

>Хорошо бы найти источник этого безобразия и починить.

Предположительно, это *.src.rpm для ARM, совпадающие по содержимому
с "обычными" src.rpm, их как раз примерно 6 Gb
(см. http://lists.altlinux.org/pipermail/sisyphus/2010-August/348620.html
и ответ).
Ещё см.
http://lists.altlinux.org/pipermail/devel/2010-July/183304.html
и ответы.

А что происходит -- не понимаю.
Может быть, на них теперь в самом деле напускается hardlink ?

Андрей Ляховец

Re: [sisyphus] rsync.altlinux.org - changed mtime of some *.src.rpm in Sisyphus

[Andrey Liakhovets]

On Mon, 23 Aug 2010 18:57:06 +0400 "Andrey Liakhovets" wrote:
>On Mon, 23 Aug 2010 12:11:54 +0400 Sergey Vlasov wrote:
>>Hello!
>>
>>Вот уже несколько раз за последний месяц у некоторых файлов *.src.rpm
>>в репозитории Sisyphus почему-то меняется mtime, на следующий день
>>возвращается назад.  Например, сегодня:
>>
>>$ rsync --no-motd rsync.altlinux.org::ALTLinux/Sisyphus/files/SRPMS/4th\*
>>-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
>>-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
>>$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/23/files/SRPMS/4th\*
>>-rw-r--r--      372028 2010/07/16 15:26:04 4th-3.5c3-alt4.src.rpm
>>-rw-r--r--     1137749 2010/07/16 15:26:04 4th-doc-pdf-3.5c3-alt3.src.rpm
>>
>>(т.е., портится и основной репозиторий, и archive).
>>
>>Вчера mtime было правильным:
>>
>>$ rsync --no-motd rsync.altlinux.org::archive/Sisyphus/2010/08/22/files/SRPMS/4th\*
>>-rw-r--r--      372028 2008/12/27 04:06:05 4th-3.5c3-alt4.src.rpm
>>-rw-r--r--     1137749 2009/01/24 01:04:31 4th-doc-pdf-3.5c3-alt3.src.rpm
>
>...skip...
>
>>Содержимое файлов при этом совпадает - отличается только mtime.
>>Происходит это уже несколько раз с некоторым примерно одним и тем же
>>набором src.rpm суммарным размером более 6 ГБ, в результате при
>>попытке создания локального зеркала с сохранением нескольких
>>предыдущих срезов теряется куча места.
>
>...skip...
>
>>Хорошо бы найти источник этого безобразия и починить.
>
>Предположительно, это *.src.rpm для ARM, совпадающие по содержимому
>с "обычными" src.rpm, их как раз примерно 6 Gb
>(см. http://lists.altlinux.org/pipermail/sisyphus/2010-August/348620.html
>и ответ).
>Ещё см.
>http://lists.altlinux.org/pipermail/devel/2010-July/183304.html
>и ответы.
>
>А что происходит -- не понимаю.
>Может быть, на них теперь в самом деле напускается hardlink ?

Попытался вложить вывод команды (сжатый bzip2)
rsync -va --stats rsync.altlinux.org::ALTLinux/Sisyphus/files/SRPMS/ Sisyphus/files/SRPMS/
за 2010-08-09.
Не получилось -- ограничение в 40 Kb.

Посылаю без вложения.

В этом выводе было 4790 файлов, и видно, что их содержимое не менялось:
Total transferred file size: 6818293241 bytes
Literal data: 0 bytes
Matched data: 6818293241 bytes

Из тех 4790 файлов у меня локально сохранились 4716
(как в Sisyphus/files/SRPMS/, так и в Sisyphus/arm/SRPMS.all/).
Содержимое этих 4716 файлов в Sisyphus/files/SRPMS/ совпадает с содержимым
таких же файлов в Sisyphus/arm/SRPMS.all/, а mtime разные.

Андрей Ляховец

Re: [sisyphus] rsync.altlinux.org - changed mtime of some *.src.rpm in Sisyphus

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 306 bytes --]

Hi,

On Mon, Aug 23, 2010 at 12:11:54PM +0400, Sergey Vlasov wrote:
> Вот уже несколько раз за последний месяц у некоторых файлов *.src.rpm
> в репозитории Sisyphus почему-то меняется mtime, на следующий день
> возвращается назад.

Сергей, спасибо, проблема локализована и устранена.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]