ALT Linux Team development discussions
 help / color / mirror / Atom feed
From: Ildar Mulyukov <ildar@altlinux.ru>
To: devel@lists.altlinux.org
Subject: Re: [devel] changelogs for apt repo
Date: Mon, 19 May 2008 16:26:02 +0600
Message-ID: <1211192762.12412.0@ildar.innovations.kz> (raw)
In-Reply-To: <20080519045314.GG9319@solemn.turbinal> (from at@altlinux.ru on Mon May 19 10:53:14 2008)

On 19.05.2008 10:53:14, Alexey Tourbin wrote:
> On Mon, May 19, 2008 at 10:02:03AM +0600, Ildar Mulyukov wrote:
> > On 18.05.2008 05:03:31, Alexey Tourbin wrote:
>>> Если класть хедеры в отдельные файлы, то оверхед в связи с этим  
>>> будет  очень большой (это и inode'ы, и перекачка информации о  
>>> файлах). На  самом деле если pkglist не сжимать, то rsync прокачает  
>>> его гораздо  быстрее (особенно если отсортировать хедеры по  
>>> %{SOURCERPM}). Средний размер хедера в pkglist 2K, если сделать  
>>> rsync  --block-size=1K то мы возьмём почти чистый diff (с оверхедом  
>>> того же  порядка, что и при передаче хедеров по отдельности).  Но  
>>> почему-то  почти все используют ftp, и ради них pkglist бзипют.
>> 	Алексей, поделитесь, пожалуйста, как настроить apt, чтобы это  
>> делать? Или Вы  имеете в виду напрямую rsync-ом?
> 
> Дело в том, что rsync(1) как раз очень хорошо подохдит для  
> синхронизации бинарных (и вообще любых) файлов, в которых некоторые  
> куски меняются (возможно, со смещением), а некоторые куски остаются  
> без изменения (возможно, тоже со смещением).  Почитайте где-нибудь  
> статью этого гуру я не помню как его на букву T тоже.  Там очень  
> хорошо описано, как файл разбивается на маленькие блоки, и на стороне  
> клиента вычисляются всевозможные хеши для любых смещений.
> Поняв это, Вам также станят ясно (как Божий день), что совсем не  
> нужен ещё один протокол для синхронизации кусков чего-то с другими  
> кусками ещё чего-то.  Достаточно одного хорошего протокола, коим  
> является rsync.


А! Спасибо. Как работает rsync - я уже немного в курсе.

> Проблема только в том, что rsync "не берёт" сжатые файлы.  Это  
> связано с понятием об этнропии, и это очень долго объяснять.  Суть в  
> том что сжатие полностью уничтожает буквально совпадение блоков,  
> которое нужно для rsync.
> В общем, дилемма простая: либо синхронизируем разжатое, либо полностью
> скачиваем сжатое.

Хотите "трилемму"? Можно ещё впаять поддержку rsync в apt-get update.

Ильдар
-- 
Ildar  Mulyukov,  free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
Jabber: ildar@jabber.ru
ICQ: 4334029
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================


  reply	other threads:[~2008-05-19 10:26 UTC|newest]

Thread overview: 35+ messages / expand[flat|nested]  mbox.gz  Atom feed  top
2008-05-17  5:34 Alexey Tourbin
2008-05-17  9:50 ` Евгений Терешков
2008-05-17 12:06 ` Alexey Gladkov
2008-05-17 13:23   ` Andrey Rahmatullin
2008-05-17 13:54     ` Alexey Gladkov
2008-05-17 19:00   ` Alexey Tourbin
2008-05-17 20:01     ` Led
2008-05-17 19:55       ` Andrey Rahmatullin
2008-05-17 21:16         ` Led
2008-05-17 21:09           ` Andrey Rahmatullin
2008-05-18  6:34             ` Kirill Maslinsky
2008-05-17 20:50       ` Alexey Tourbin
2008-05-17 21:58     ` Alexey Gladkov
2008-05-17 21:46       ` Andrey Rahmatullin
2008-05-17 22:14         ` Alexey Gladkov
2008-05-17 22:00           ` Andrey Rahmatullin
2008-05-17 22:21             ` Alexey Gladkov
2008-05-17 22:10               ` Andrey Rahmatullin
2008-05-17 22:32                 ` Alexey Gladkov
2008-05-17 22:45       ` Sergey Bolshakov
2008-05-17 23:03       ` Alexey Tourbin
2008-05-19  4:02         ` Ildar Mulyukov
2008-05-19  4:53           ` Alexey Tourbin
2008-05-19 10:26             ` Ildar Mulyukov [this message]
2008-05-19 10:35               ` Andrey Rahmatullin
2008-05-19 10:41                 ` Pavlov Konstantin
2008-05-19 10:43                   ` Andrey Rahmatullin
2008-05-19 10:53                   ` Aleksey Avdeev
2008-05-20 12:27             ` Alexander Bokovoy
2008-05-18  2:07     ` Alexey Tourbin
2008-05-18  2:25       ` Alexey Tourbin
2008-05-18  9:26       ` Alexey Gladkov
2008-05-18 21:35         ` Alexey Tourbin
2008-05-18 22:26           ` Alexey Gladkov
2008-05-20  2:34     ` Alexey Morozov

Reply instructions:

You may reply publicly to this message via plain-text email
using any one of the following methods:

* Save the following mbox file, import it into your mail client,
  and reply-to-all from there: mbox

  Avoid top-posting and favor interleaved quoting:
  https://en.wikipedia.org/wiki/Posting_style#Interleaved_style

* Reply using the --to, --cc, and --in-reply-to
  switches of git-send-email(1):

  git send-email \
    --in-reply-to=1211192762.12412.0@ildar.innovations.kz \
    --to=ildar@altlinux.ru \
    --cc=devel@lists.altlinux.org \
    /path/to/YOUR_REPLY

  https://kernel.org/pub/software/scm/git/docs/git-send-email.html

* If your mail client supports setting the In-Reply-To header
  via mailto: links, try the mailto: link

ALT Linux Team development discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
		devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
	public-inbox-index devel

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.devel


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git