From: Alexey Tourbin <at@altlinux.ru>
To: ALT Linux Team development discussions <devel@lists.altlinux.org>
Subject: Re: [devel] rpm: rsyncable deflate vs LZMA
Date: Fri, 30 May 2008 01:31:14 +0400
Message-ID: <20080529213114.GR7996@solemn.turbinal> (raw)
In-Reply-To: <20080529183744.GA14334@wo.int.altlinux.org>
[-- Attachment #1: Type: text/plain, Size: 1610 bytes --]
On Thu, May 29, 2008 at 10:37:44PM +0400, Dmitry V. Levin wrote:
> On Thu, May 29, 2008 at 05:28:39PM +0400, Alexander Bokovoy wrote:
> [...]
> > Я в этом деле лицо скорее заинтересованное, но я бы выбрал rsyncable
> > против lzma, потому что это дает следующие преимущества:
> > 1. Позволяет более полно использовать состояние зеркала на стороне пользователя.
>
> Несмотря на неизменность большинства файлов, и постоянные переименования
> большинства из оставшихся файлов?
Также следует понимать, что rsyncable deflate работает только для
достаточно больших (порядка 32K) полностью совпадающих кусков.
На практике это значит, что в *.rpm пакетах из синхронизации исключаются
маленькие файлы. Например, для пакета man-pages rsyncable оптимизация
почти ничего не даёт (speedup 1.09 после _простой_ повторной
пересборки). Это связано с тем, что в cpio хедере (перед содержимым
файла) есть mtime, и он получается всё время разный. А различие в mtime
"надолго" сбивает синхронизацию (то есть весь "маленький" файл
выпадает).
У меня есть идея. Для выбора точек синхронизации (gzflush) можно
использовать не только "слепой" rsync hint, но и cpio hint -- как
только мы видим cpio magic "070707", мы знаем, что через несколько
байтов будет mtime и потом пойдёт имя и содержимое файла. То есть
sync можно делать в месте окончания очередного cpio header.
Правда, я не знаю, даст это что-нибудь в случае с маленькими файлами
или нет. Это может ничего не дать из-за того, что первые совпавшие
блоки в сжатом виде всё равно могут отличаться (из-за backreferences
в предыдущий блок).
[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]
next prev parent reply other threads:[~2008-05-29 21:31 UTC|newest]
Thread overview: 37+ messages / expand[flat|nested] mbox.gz Atom feed top
2008-05-29 12:38 Alexey Tourbin
2008-05-29 13:28 ` Alexander Bokovoy
2008-05-29 16:50 ` Alexey Tourbin
2008-05-29 18:37 ` Dmitry V. Levin
2008-05-29 19:50 ` Alexey Tourbin
2008-05-29 20:13 ` Alexey Tourbin
2008-05-29 20:28 ` Led
2008-05-29 20:42 ` Alexey Tourbin
2008-05-29 20:16 ` Alexander Bokovoy
2008-05-29 21:31 ` Alexey Tourbin [this message]
2008-05-29 21:56 ` Dmitry V. Levin
2008-05-29 23:23 ` Alexey Tourbin
2008-05-30 21:31 ` Alexey Tourbin
2008-05-31 10:09 ` [devel] rsyncability test: openoffice Alexey Tourbin
2008-05-30 9:27 ` [devel] rpm: rsyncable deflate vs LZMA Alexey Tourbin
2008-05-30 8:21 ` Anton V. Boyarshinov
2008-05-30 11:28 ` Alexey Tourbin
2008-05-30 10:44 ` Anton Farygin
2008-05-30 12:07 ` Alexander Bokovoy
2008-05-30 15:03 ` Anton V. Boyarshinov
2008-05-30 15:09 ` Dmitry V. Levin
2008-05-30 15:17 ` Anton V. Boyarshinov
2008-05-30 15:25 ` Mikhail Gusarov
2008-05-30 15:32 ` Anton V. Boyarshinov
2008-05-30 15:37 ` Mikhail Gusarov
2008-06-01 12:06 ` Anton Farygin
2008-05-31 10:25 ` Alexey Tourbin
2008-05-31 16:59 ` Kirill A. Shutemov
2008-06-01 0:33 ` Alexey Tourbin
2008-06-01 13:07 ` Mikhail Gusarov
2008-06-01 18:08 ` [devel] [JT] fortunezilla :) Michael Shigorin
2008-06-02 1:44 ` Sergey Balbeko
2008-06-02 5:06 ` Mikhail Gusarov
2008-06-02 7:54 ` Alexey I. Froloff
2008-06-02 8:21 ` Michael Shigorin
2008-06-01 19:05 ` [devel] rpm: rsyncable deflate vs LZMA Alexey I. Froloff
2008-05-30 11:47 ` Anton V. Boyarshinov
Reply instructions:
You may reply publicly to this message via plain-text email
using any one of the following methods:
* Save the following mbox file, import it into your mail client,
and reply-to-all from there: mbox
Avoid top-posting and favor interleaved quoting:
https://en.wikipedia.org/wiki/Posting_style#Interleaved_style
* Reply using the --to, --cc, and --in-reply-to
switches of git-send-email(1):
git send-email \
--in-reply-to=20080529213114.GR7996@solemn.turbinal \
--to=at@altlinux.ru \
--cc=devel@lists.altlinux.org \
/path/to/YOUR_REPLY
https://kernel.org/pub/software/scm/git/docs/git-send-email.html
* If your mail client supports setting the In-Reply-To header
via mailto: links, try the mailto: link
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git