[devel] LZMA и 4.1

[devel] LZMA и 4.1

[Михаил Якушин]

А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея 
систему на сизифе?
Можно ли отключить LZMA из spec?

Re: [devel] LZMA и 4.1

[Kirill A. Shutemov]

[-- Attachment #1: Type: text/plain, Size: 446 bytes --]

On Wed, Jun 18, 2008 at 04:25:42PM +0400, =?KOI8-R?Q?=ED=C9=C8=C1=C9=CC_=F1=CB=D5=DB=C9=CE_ wrote:
> А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея 
> систему на сизифе?
> Можно ли отключить LZMA из spec?
--define '_source_payload w9.gzdio'

-- 
Regards,  Kirill A. Shutemov
 + Belarus, Minsk
 + ALT Linux Team, http://www.altlinux.com/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Valery V. Inozemtsev]

[-- Attachment #1: Type: text/plain, Size: 390 bytes --]

В сообщении от 18 июня 2008 Kirill A. Shutemov написал(a):
> On Wed, Jun 18, 2008 at 04:25:42PM +0400, 
=?KOI8-R?Q?=ED=C9=C8=C1=C9=CC_=F1=CB=D5=DB=C9=CE_ wrote:
> > А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея
> > систему на сизифе?
> > Можно ли отключить LZMA из spec?
>
> --define '_source_payload w9.gzdio'

и как это передать gear-rpm?

-- 
Valery V. Inozemtsev

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 480 bytes --]

On Fri, Jun 20, 2008 at 11:10:23AM +0400, Valery V. Inozemtsev wrote:
> В сообщении от 18 июня 2008 Kirill A. Shutemov написал(a):
> > On Wed, Jun 18, 2008 at 04:25:42PM +0400, 
> =?KOI8-R?Q?=ED=C9=C8=C1=C9=CC_=F1=CB=D5=DB=C9=CE_ wrote:
> > > А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея
> > > систему на сизифе?
> > > Можно ли отключить LZMA из spec?
> >
> > --define '_source_payload w9.gzdio'
> 
> и как это передать gear-rpm?

Just don't.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Valery V. Inozemtsev]

[-- Attachment #1: Type: text/plain, Size: 634 bytes --]

В сообщении от 20 июня 2008 Alexey Tourbin написал(a):
> On Fri, Jun 20, 2008 at 11:10:23AM +0400, Valery V. Inozemtsev wrote:
> > В сообщении от 18 июня 2008 Kirill A. Shutemov написал(a):
> > > On Wed, Jun 18, 2008 at 04:25:42PM +0400,
> >
> > =?KOI8-R?Q?=ED=C9=C8=C1=C9=CC_=F1=CB=D5=DB=C9=CE_ wrote:
> > > > А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея
> > > > систему на сизифе?
> > > > Можно ли отключить LZMA из spec?
> > >
> > > --define '_source_payload w9.gzdio'
> >
> > и как это передать gear-rpm?
>
> Just don't.

gear-rpm -bs --nodeps --define='_source_payload w9.gzdio'

-- 
Valery V. Inozemtsev

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 179 bytes --]

On Fri, Jun 20, 2008 at 11:35:58AM +0400, Valery V. Inozemtsev wrote:
> gear-rpm -bs --nodeps --define='_source_payload w9.gzdio'

rpmquery --qf '%{PAYLOADCOMPRESSOR}\n' -p *.rpm

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Valery V. Inozemtsev]

[-- Attachment #1: Type: text/plain, Size: 283 bytes --]

В сообщении от 20 июня 2008 Alexey Tourbin написал(a):
> On Fri, Jun 20, 2008 at 11:35:58AM +0400, Valery V. Inozemtsev wrote:
> > gear-rpm -bs --nodeps --define='_source_payload w9.gzdio'
>
> rpmquery --qf '%{PAYLOADCOMPRESSOR}\n' -p *.rpm
gzip


-- 
Valery V. Inozemtsev

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Gladkov]

Valery V. Inozemtsev wrote:
>> --define '_source_payload w9.gzdio'
> 
> и как это передать gear-rpm?

gear-rpm [options] [rpmbuild options] [gear options]

-- 
Rgrds, legion

Re: [devel] LZMA и 4.1

[Михаил Якушин]

Михаил Якушин wrote:
> А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея 
> систему на сизифе?
Проблема оказалась в пакете кторый был собран под сизиф(с LZMA) и был в 
репозитарии хешера. И пакет этот использовался при сборке. Переборка 
этого пакета в окружении 4.1 решила проблему.
> Можно ли отключить LZMA из spec?

Re: [devel] LZMA и 4.1

[Anton Farygin]

Михаил Якушин пишет:
> Михаил Якушин wrote:
>> А как теперь с введением LZMA собирать пакеты под 4.1(да и 4.0) имея 
>> систему на сизифе?
> Проблема оказалась в пакете кторый был собран под сизиф(с LZMA) и был в 
> репозитарии хешера. И пакет этот использовался при сборке. Переборка 
> этого пакета в окружении 4.1 решила проблему.
>> Можно ли отключить LZMA из spec?

Было бы здорово перенести rpm с этими изменениями в branch/4.1

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 350 bytes --]

On Wed, Jun 18, 2008 at 04:25:42PM +0400, Михаил Якушин wrote:
> А как теперь с введением LZMA собирать 
> пакеты под 4.1(да и 4.0) имея систему на 
> сизифе?
> Можно ли отключить LZMA из spec?

Её нельзя отключить в уже собранных пакетах.  Для обоих бранчей
в ближайшее время будет подготовлен LZMA-enabled rpm, но точный
час X я не скажу.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 588 bytes --]

On Thu, Jun 19, 2008 at 06:01:52AM +0400, Alexey Tourbin wrote:
> On Wed, Jun 18, 2008 at 04:25:42PM +0400, Михаил Якушин wrote:
> > А как теперь с введением LZMA собирать 
> > пакеты под 4.1(да и 4.0) имея систему на 
> > сизифе?
> > Можно ли отключить LZMA из spec?
> 
> Её нельзя отключить в уже собранных пакетах.  Для обоих бранчей
> в ближайшее время будет подготовлен LZMA-enabled rpm, но точный
> час X я не скажу.

Задача обновить пакет rpm и выполнить после этого
apt-get --reinstall update
оказалась неочевидной для многих.  Сам видел неоднократно.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 792 bytes --]

On Thu, Jun 19, 2008 at 01:55:47PM +0400, Dmitry V. Levin wrote:
> On Thu, Jun 19, 2008 at 06:01:52AM +0400, Alexey Tourbin wrote:
> > On Wed, Jun 18, 2008 at 04:25:42PM +0400, Михаил Якушин wrote:
> > > А как теперь с введением LZMA собирать 
> > > пакеты под 4.1(да и 4.0) имея систему на 
> > > сизифе?
> > > Можно ли отключить LZMA из spec?
> > 
> > Её нельзя отключить в уже собранных пакетах.  Для обоих бранчей
> > в ближайшее время будет подготовлен LZMA-enabled rpm, но точный
> > час X я не скажу.
> 
> Задача обновить пакет rpm и выполнить после этого
> apt-get --reinstall update
> оказалась неочевидной для многих.  Сам видел неоднократно.

Я не предполагал в 4.0 включать LZMA.  Но если в 4.0 из сизифа
переложили хотя бы один пакет с LZMA, то талончик уже...

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1101 bytes --]

On Thu, Jun 19, 2008 at 02:03:40PM +0400, Alexey Tourbin wrote:
> On Thu, Jun 19, 2008 at 01:55:47PM +0400, Dmitry V. Levin wrote:
> > On Thu, Jun 19, 2008 at 06:01:52AM +0400, Alexey Tourbin wrote:
> > > On Wed, Jun 18, 2008 at 04:25:42PM +0400, Михаил Якушин wrote:
> > > > А как теперь с введением LZMA собирать 
> > > > пакеты под 4.1(да и 4.0) имея систему на 
> > > > сизифе?
> > > > Можно ли отключить LZMA из spec?
> > > 
> > > Её нельзя отключить в уже собранных пакетах.  Для обоих бранчей
> > > в ближайшее время будет подготовлен LZMA-enabled rpm, но точный
> > > час X я не скажу.
> > 
> > Задача обновить пакет rpm и выполнить после этого
> > apt-get --reinstall update
> > оказалась неочевидной для многих.  Сам видел неоднократно.
> 
> Я не предполагал в 4.0 включать LZMA.  Но если в 4.0 из сизифа
> переложили хотя бы один пакет с LZMA, то талончик уже...

Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
и LZMA-compressed пакеты, и начнётся такое...


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 642 bytes --]

On Thu, Jun 19, 2008 at 02:12:24PM +0400, Dmitry V. Levin wrote:
> > > Задача обновить пакет rpm и выполнить после этого
> > > apt-get --reinstall update
> > > оказалась неочевидной для многих.  Сам видел неоднократно.
> > 
> > Я не предполагал в 4.0 включать LZMA.  Но если в 4.0 из сизифа
> > переложили хотя бы один пакет с LZMA, то талончик уже...
> 
> Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
> Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
> и LZMA-compressed пакеты, и начнётся такое...

В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
и Сизифа.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 13:32:39 Alexey Tourbin написал(а):
> On Thu, Jun 19, 2008 at 02:12:24PM +0400, Dmitry V. Levin wrote:
> > > > Задача обновить пакет rpm и выполнить после этого
> > > > apt-get --reinstall update
> > > > оказалась неочевидной для многих.  Сам видел неоднократно.
> > >
> > > Я не предполагал в 4.0 включать LZMA.  Но если в 4.0 из сизифа
> > > переложили хотя бы один пакет с LZMA, то талончик уже...
> >
> > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
> > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним
> > поползут и LZMA-compressed пакеты, и начнётся такое...
>
> В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> и Сизифа.

А почему не w9 ? w2 зачастую хуже bzip2 жмёт

-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 440 bytes --]

On Thu, Jun 19, 2008 at 01:44:09PM +0300, Led wrote:
> > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> > и Сизифа.
> 
> А почему не w9 ? w2 зачастую хуже bzip2 жмёт

На входе в incoming'е используется w5.
На src.rpm это повлиять, увы, не может.

Опции больше w2 очень долго жмут (в 4 раза дольше, чем bzip2).
Опции больше w5 требуют много памяти для распаковки (w5 требует
1+2M, далее 1+4M, 1+8M и т.д.).

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 13:49:49 Alexey Tourbin написал(а):
> On Thu, Jun 19, 2008 at 01:44:09PM +0300, Led wrote:
> > > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> > > и Сизифа.
> >
> > А почему не w9 ? w2 зачастую хуже bzip2 жмёт
>
> На входе в incoming'е используется w5.

Ну, хоть 5.

> На src.rpm это повлиять, увы, не может.

Это понятно.

> Опции больше w2 очень долго жмут (в 4 раза дольше, чем bzip2).
> Опции больше w5 требуют много памяти для распаковки (w5 требует
> 1+2M, далее 1+4M, 1+8M и т.д.).

Спасибо за информацию.

-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1749 bytes --]

On Thu, Jun 19, 2008 at 02:05:42PM +0300, Led wrote:
> > На входе в incoming'е используется w5.
> Ну, хоть 5.

У инсталлятора минимальное системное требование 64M RAM.
Больше 3M на распаковку откусывать боязно.

У w5, w6 и w7 опции сжатия отличаются только размером словаря.
То есть w6 и w7 по сравнению с w5 являются экстенсивными вариантами того
же самого сжатия -- улучшение в сжатии происходит только за счёт того,
что компрессор заглатывает данные бОльшими кусками (в которых в таком
случае легче найти совпадения).

w8, кроме размера словаря в 16M, выкручивает на максимум все остальные
ручки.  Если проапгрейдить минимальные системные требования, то после
w5 имеет смысл использовать w8.  Но разница w5/w8 будет в среднем где-то
1-2%, и только в достаточно удачном случае (размер cpio должен быть
порядка 16M, иначе большой словарь ничего не даст).

Впрочем, бывают случаи и очень заманчивые. :)

$ rpm -qlvp mono-mscorlib-1.9.1-alt1.x86_64.rpm
drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono
drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono/1.0
-rwxr-xr-x    1 root    root          2070528 Apr 22 20:46 /usr/lib/mono/1.0/mscorlib.dll
drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono/2.0
-rwxr-xr-x    1 root    root          2550784 Apr 22 20:50 /usr/lib/mono/2.0/mscorlib.dll
drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono/2.1
-rwxr-xr-x    1 root    root          2110976 Apr 22 20:55 /usr/lib/mono/2.1/mscorlib.dll
$ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -5 |wc -c
1770530
$ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -8 |wc -c
1279286
$ 

Это "патологчески благоприятный" случай.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1067 bytes --]

On Thu, Jun 19, 2008 at 03:27:02PM +0400, Alexey Tourbin wrote:
> Впрочем, бывают случаи и очень заманчивые. :)
> 
> $ rpm -qlvp mono-mscorlib-1.9.1-alt1.x86_64.rpm
> drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono
> drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono/1.0
> -rwxr-xr-x    1 root    root          2070528 Apr 22 20:46 /usr/lib/mono/1.0/mscorlib.dll
> drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono/2.0
> -rwxr-xr-x    1 root    root          2550784 Apr 22 20:50 /usr/lib/mono/2.0/mscorlib.dll
> drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono/2.1
> -rwxr-xr-x    1 root    root          2110976 Apr 22 20:55 /usr/lib/mono/2.1/mscorlib.dll
> $ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -5 |wc -c
> 1770530
> $ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -8 |wc -c
> 1279286
> $ 

$ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -6 |wc -c
1276045
$

Не всё так просто -- здесь w6 оказывается чуть лучше, чем w8.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 14:42:11 Alexey Tourbin написал(а):
> On Thu, Jun 19, 2008 at 03:27:02PM +0400, Alexey Tourbin wrote:
> > Впрочем, бывают случаи и очень заманчивые. :)
> >
> > $ rpm -qlvp mono-mscorlib-1.9.1-alt1.x86_64.rpm
> > drwxr-xr-x    2 root    root                0 Apr 22 20:56 /usr/lib/mono
> > drwxr-xr-x    2 root    root                0 Apr 22 20:56
> > /usr/lib/mono/1.0 -rwxr-xr-x    1 root    root          2070528 Apr 22
> > 20:46 /usr/lib/mono/1.0/mscorlib.dll drwxr-xr-x    2 root    root        
> >        0 Apr 22 20:56 /usr/lib/mono/2.0 -rwxr-xr-x    1 root    root     
> >     2550784 Apr 22 20:50 /usr/lib/mono/2.0/mscorlib.dll drwxr-xr-x    2
> > root    root                0 Apr 22 20:56 /usr/lib/mono/2.1 -rwxr-xr-x  
> >  1 root    root          2110976 Apr 22 20:55
> > /usr/lib/mono/2.1/mscorlib.dll $ rpm2cpio
> > mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -5 |wc -c
> > 1770530
> > $ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -8 |wc -c
> > 1279286
> > $
>
> $ rpm2cpio mono-mscorlib-1.9.1-alt1.x86_64.rpm |lzma -6 |wc -c
> 1276045
> $
>
> Не всё так просто -- здесь w6 оказывается чуть лучше, чем w8.

Да вот мне тоже попадались случаи, когда от 6 до 8 - никаких изменений, и 
только на 9 небольшой "скачок" (в лучшую сторону)...

-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 684 bytes --]

On Thu, Jun 19, 2008 at 02:49:50PM +0300, Led wrote:
> Да вот мне тоже попадались случаи, когда от 6 до 8 - никаких изменений, и 
> только на 9 небольшой "скачок" (в лучшую сторону)...

Скачок w8/w9 возможен только при условии, что размер cpio значительно
больше 16M (в разжатом виде), и в нём "неудачно" чередуются совпадающие
куски.

Сейчас медиана размера x86_64 пакетов -- 70K в сжатом виде.
$ ls -l --sort=size /ALT/Sisyphus/files/x86_64/RPMS |less
и набрать "50%".

Десятипроцентный квантиль -- 1.3M (набрать "10%").  То есть 90% всех
x86_64 пакетов меньше 1.3M в сжатом виде (и поэтому почти наверняка
мньше 16M в разжатом виде).  Для них скачка точно не будет.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 15:08:35 Alexey Tourbin написал(а):
> On Thu, Jun 19, 2008 at 02:49:50PM +0300, Led wrote:
> > Да вот мне тоже попадались случаи, когда от 6 до 8 - никаких изменений, и
> > только на 9 небольшой "скачок" (в лучшую сторону)...
>
> Скачок w8/w9 возможен только при условии, что размер cpio значительно
> больше 16M (в разжатом виде), и в нём "неудачно" чередуются совпадающие
> куски.

А сортировщик, который более "удачно" выстроит эти "куски" (файлы по типу, 
например) и отдаст список на вход tar'у, теретически возможен?


-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 613 bytes --]

On Thu, Jun 19, 2008 at 03:14:03PM +0300, Led wrote:
> > Скачок w8/w9 возможен только при условии, что размер cpio значительно
> > больше 16M (в разжатом виде), и в нём "неудачно" чередуются совпадающие
> > куски.
> 
> А сортировщик, который более "удачно" выстроит эти "куски" (файлы по типу, 
> например) и отдаст список на вход tar'у, теретически возможен?

Возможен. :)  Но на практике, если в тарболле или cpio файлы
идут в лексикографическом порядке, то это оказывается не самым
плохим способом группировки кусков.  Действительно, в /usr/bin
лежат ELF'ы, в /usr/share/doc -- ASCII тексты и т.д.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 15:18:56 Alexey Tourbin написал(а):
> On Thu, Jun 19, 2008 at 03:14:03PM +0300, Led wrote:
> > > Скачок w8/w9 возможен только при условии, что размер cpio значительно
> > > больше 16M (в разжатом виде), и в нём "неудачно" чередуются совпадающие
> > > куски.
> >
> > А сортировщик, который более "удачно" выстроит эти "куски" (файлы по
> > типу, например) и отдаст список на вход tar'у, теретически возможен?
>
> Возможен. :)  Но на практике, если в тарболле или cpio файлы
> идут в лексикографическом порядке, то это оказывается не самым
> плохим способом группировки кусков.  Действительно, в /usr/bin
> лежат ELF'ы, в /usr/share/doc -- ASCII тексты и т.д.

с "бинарными" rpm/cpio это так. С исходниками ИМХО немного иначе:)

-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 687 bytes --]

On Thu, Jun 19, 2008 at 03:25:11PM +0300, Led wrote:
> > > А сортировщик, который более "удачно" выстроит эти "куски" (файлы по
> > > типу, например) и отдаст список на вход tar'у, теретически возможен?
> >
> > Возможен. :)  Но на практике, если в тарболле или cpio файлы
> > идут в лексикографическом порядке, то это оказывается не самым
> > плохим способом группировки кусков.  Действительно, в /usr/bin
> > лежат ELF'ы, в /usr/share/doc -- ASCII тексты и т.д.
> 
> с "бинарными" rpm/cpio это так. С исходниками ИМХО немного иначе:)

Самый плохой способ группировки -- это случайное перемешивание файлов.
Осмысленная же группировка по каталогам всегда "less than random".

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 15:30:48 Alexey Tourbin написал(а):
> Самый плохой способ группировки -- это случайное перемешивание файлов.
> Осмысленная же группировка по каталогам всегда "less than random".

А то, что он (lzma) однотредовый - это издержки алгоритма или дизайна?

-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1378 bytes --]

On Thu, Jun 19, 2008 at 03:49:25PM +0300, Led wrote:
> В сообщении от Thursday 19 June 2008 15:30:48 Alexey Tourbin написал(а):
> > Самый плохой способ группировки -- это случайное перемешивание файлов.
> > Осмысленная же группировка по каталогам всегда "less than random".
> 
> А то, что он (lzma) однотредовый - это издержки алгоритма или дизайна?

Новый формат контейнера (который пока alpha) предусматривает
параллельное сжатие и расжатие.

liblzma.git
doc/history.txt
    The new .lzma format allows dividing the data in multiple independent
    blocks, which can be compressed and uncompressed independenly. This
    makes multi-threading possible with algorithms that aren't inherently
    parallel (such as LZMA). There's also a central index of the sizes of
    the blocks, which makes it possible to do limited random-access reading
    with granularity of the block size.

Но я бы не советовал обольщаться на эту тему.  Как поиск по словарю,
так и частотное кодирование -- это по сути очень инкрементные алгоритмы,
и ничего распараллелить здесь на самом деле нельзя.  Распараллеливание
достигается за счёт "independent blocks", а это ухудшает сжатие.

То есть порубили файл на куски и давай сжимать по кускам.  При этом
сходство между кусками уже никак учесть нельзя.  А инкрементное
"скользящее окно" улавливает это сходство очень хорошо.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Led]

В сообщении от Thursday 19 June 2008 14:27:02 Alexey Tourbin написал(а):
> On Thu, Jun 19, 2008 at 02:05:42PM +0300, Led wrote:
> > > На входе в incoming'е используется w5.
> >
> > Ну, хоть 5.
>
> У инсталлятора минимальное системное требование 64M RAM.
> Больше 3M на распаковку откусывать боязно.

Даже если распаковываемый файл меньше 3М, всё равно на распаковку потребуется 
17М на w8 ?


-- 
Led

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 363 bytes --]

On Thu, Jun 19, 2008 at 02:51:36PM +0300, Led wrote:
> > У инсталлятора минимальное системное требование 64M RAM.
> > Больше 3M на распаковку откусывать боязно.
> 
> Даже если распаковываемый файл меньше 3М, всё равно на распаковку потребуется 
> 17М на w8 ?

Не знаю точно.  Лучше не рассчитывать на то, что инсталлятору
не попадутся большие пакеты. :)

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 552 bytes --]

On Thu, Jun 19, 2008 at 02:32:39PM +0400, Alexey Tourbin wrote:
> > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
> > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
> > и LZMA-compressed пакеты, и начнётся такое...
> 
> В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> и Сизифа.

Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был выложен
всего один iso-образ (со статусом alpha).  Вроде ещё не пожизненно мы
увязли одной ногой, чтобы по локоть нам откусывали.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1 (а-ля glibc-preinstall?)

[Michael Shigorin]

On Thu, Jun 19, 2008 at 01:55:47PM +0400, Dmitry V. Levin wrote:
> > Её нельзя отключить в уже собранных пакетах.  Для обоих
> > бранчей в ближайшее время будет подготовлен LZMA-enabled rpm,

Спасибо!

> Задача обновить пакет rpm и выполнить после этого
> apt-get --reinstall update
> оказалась неочевидной для многих.  Сам видел неоднократно.

Аналогично.

Получается ли сделать что-то вроде glibc-preinstall?
У меня пока никакого варианта не придумалось.

On Fri, Jun 20, 2008 at 12:02:36AM +0400, Alexey Tourbin wrote:
> > > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их
> > > там нет.  Но как только в бранче окажется LZMA-capable rpm,
> > > то вслед за ним поползут и LZMA-compressed пакеты, и
> > > начнётся такое...
> > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только
> > для 4.1 и Сизифа.
> Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был
> выложен всего один iso-образ

Две пачки, но не суть важно.

> (со статусом alpha).  Вроде ещё не пожизненно мы увязли одной
> ногой, чтобы по локоть нам откусывали.

Ага.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] LZMA и 4.1 (а-ля glibc-preinstall?)

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 705 bytes --]

On Tue, Jun 24, 2008 at 11:20:13AM +0300, Michael Shigorin wrote:
> On Thu, Jun 19, 2008 at 01:55:47PM +0400, Dmitry V. Levin wrote:
> > > Её нельзя отключить в уже собранных пакетах.  Для обоих
> > > бранчей в ближайшее время будет подготовлен LZMA-enabled rpm,
> 
> Спасибо!
> 
> > Задача обновить пакет rpm и выполнить после этого
> > apt-get --reinstall update
> > оказалась неочевидной для многих.  Сам видел неоднократно.
> 
> Аналогично.
> 
> Получается ли сделать что-то вроде glibc-preinstall?

Сейчас в librpm сделано даже лучше чем в glibc-preinstall:
До тех пор, пока ты не обновишь librpm и не перезапустишь apt,
ты не сможешь установить пакеты, пожатые LZMA.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1 (а-ля glibc-preinstall?)

[Michael Shigorin]

On Wed, Jul 02, 2008 at 02:55:22AM +0400, Dmitry V. Levin wrote:
> > > Задача обновить пакет rpm и выполнить после этого
> > > apt-get --reinstall update
> > > оказалась неочевидной для многих.  Сам видел неоднократно.
> > Аналогично.
> > Получается ли сделать что-то вроде glibc-preinstall?
> Сейчас в librpm сделано даже лучше чем в glibc-preinstall:
> До тех пор, пока ты не обновишь librpm и не перезапустишь apt,
> ты не сможешь установить пакеты, пожатые LZMA.

Вот только процедура достижения "тех пор" неочевидна.
Именно про это говорил -- glibc-preinstall вполне чётко 
указывает проблему, здесь же apt-get --reinstall update
по факту является тайным знанием.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] LZMA и 4.x

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 908 bytes --]

On Fri, Jun 20, 2008 at 12:02:36AM +0400, Alexey Tourbin wrote:
> On Thu, Jun 19, 2008 at 02:32:39PM +0400, Alexey Tourbin wrote:
> > > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
> > > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
> > > и LZMA-compressed пакеты, и начнётся такое...
> > 
> > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> > и Сизифа.
> 
> Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был выложен
> всего один iso-образ (со статусом alpha).  Вроде ещё не пожизненно мы
> увязли одной ногой, чтобы по локоть нам откусывали.

rpm с поддержкой lzma нельзя (практически бесполезно) класть в какой-либо
бранч, покуда есть необходимость запускать apt-get --reinstall update.
Нам придётся эту проблему решать в любом случае, иначе обновление с 4.1 до
5.x будет сильно затруднено.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.x

[Aleksey Novodvorsky]

02.07.08, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> On Fri, Jun 20, 2008 at 12:02:36AM +0400, Alexey Tourbin wrote:
>  > On Thu, Jun 19, 2008 at 02:32:39PM +0400, Alexey Tourbin wrote:
>  > > > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
>  > > > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
>  > > > и LZMA-compressed пакеты, и начнётся такое...
>  > >
>  > > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
>  > > и Сизифа.
>  >
>  > Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был выложен
>  > всего один iso-образ (со статусом alpha).  Вроде ещё не пожизненно мы
>  > увязли одной ногой, чтобы по локоть нам откусывали.
>
>  rpm с поддержкой lzma нельзя (практически бесполезно) класть в какой-либо
>  бранч, покуда есть необходимость запускать apt-get --reinstall update.
>  Нам придётся эту проблему решать в любом случае, иначе обновление с 4.1 до
>  5.x будет сильно затруднено.

Нам еще надо будет решить проблему особо безболезненного обновления со
школьного бранча до следующего школьного бранча.

Rgrds, Алексей

Re: [devel] LZMA и 4.x

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1282 bytes --]

On Wed, Jul 02, 2008 at 02:57:30AM +0400, Aleksey Novodvorsky wrote:
> 02.07.08, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> > On Fri, Jun 20, 2008 at 12:02:36AM +0400, Alexey Tourbin wrote:
> >  > On Thu, Jun 19, 2008 at 02:32:39PM +0400, Alexey Tourbin wrote:
> >  > > > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
> >  > > > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
> >  > > > и LZMA-compressed пакеты, и начнётся такое...
> >  > >
> >  > > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> >  > > и Сизифа.
> >  >
> >  > Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был выложен
> >  > всего один iso-образ (со статусом alpha).  Вроде ещё не пожизненно мы
> >  > увязли одной ногой, чтобы по локоть нам откусывали.
> >
> >  rpm с поддержкой lzma нельзя (практически бесполезно) класть в какой-либо
> >  бранч, покуда есть необходимость запускать apt-get --reinstall update.
> >  Нам придётся эту проблему решать в любом случае, иначе обновление с 4.1 до
> >  5.x будет сильно затруднено.
> 
> Нам еще надо будет решить проблему особо безболезненного обновления со
> школьного бранча до следующего школьного бранча.

Это по сути та же самая задача.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.x

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1343 bytes --]

On Wed, Jul 02, 2008 at 02:53:07AM +0400, Dmitry V. Levin wrote:
> On Fri, Jun 20, 2008 at 12:02:36AM +0400, Alexey Tourbin wrote:
> > On Thu, Jun 19, 2008 at 02:32:39PM +0400, Alexey Tourbin wrote:
> > > > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
> > > > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
> > > > и LZMA-compressed пакеты, и начнётся такое...
> > > 
> > > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
> > > и Сизифа.
> > 
> > Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был выложен
> > всего один iso-образ (со статусом alpha).  Вроде ещё не пожизненно мы
> > увязли одной ногой, чтобы по локоть нам откусывали.
> 
> rpm с поддержкой lzma нельзя (практически бесполезно) класть в какой-либо
> бранч, покуда есть необходимость запускать apt-get --reinstall update.
> Нам придётся эту проблему решать в любом случае, иначе обновление с 4.1 до
> 5.x будет сильно затруднено.

На 4.1 ещё не выпущено ни одного бета-релиза.

Если обновить rpm, но не запускать 'apt-get --reinstall update', то при
следующем результативном 'apt-get update' (репозитарий изменился) кеш
всё равно будет перегенерирован, и всё рассосётся.

Так что для особо непонятливых можно дать совет в духе "обновите rpm
и подождите несколько дней".

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.x

[Aleksey Novodvorsky]

02.07.08, Alexey Tourbin<at@altlinux.ru> написал(а):
> On Wed, Jul 02, 2008 at 02:53:07AM +0400, Dmitry V. Levin wrote:
>  > On Fri, Jun 20, 2008 at 12:02:36AM +0400, Alexey Tourbin wrote:
>  > > On Thu, Jun 19, 2008 at 02:32:39PM +0400, Alexey Tourbin wrote:
>  > > > > Нет, в бранчи такие пакеты сейчас перекладывать нельзя, их там нет.
>  > > > > Но как только в бранче окажется LZMA-capable rpm, то вслед за ним поползут
>  > > > > и LZMA-compressed пакеты, и начнётся такое...
>  > > >
>  > > > В /usr/lib/rpm/macros сжатие w2.lzdio будет влючено только для 4.1
>  > > > и Сизифа.
>  > >
>  > > Или для 4.1 тоже плохо?  Насколько я знаю, на 4.1-бранче был выложен
>  > > всего один iso-образ (со статусом alpha).  Вроде ещё не пожизненно мы
>  > > увязли одной ногой, чтобы по локоть нам откусывали.
>  >
>  > rpm с поддержкой lzma нельзя (практически бесполезно) класть в какой-либо
>  > бранч, покуда есть необходимость запускать apt-get --reinstall update.
>  > Нам придётся эту проблему решать в любом случае, иначе обновление с 4.1 до
>  > 5.x будет сильно затруднено.
>
>
> На 4.1 ещё не выпущено ни одного бета-релиза.
>
>  Если обновить rpm, но не запускать 'apt-get --reinstall update', то при
>  следующем результативном 'apt-get update' (репозитарий изменился) кеш
>  всё равно будет перегенерирован, и всё рассосётся.
>
>  Так что для особо непонятливых можно дать совет в духе "обновите rpm
>  и подождите несколько дней".

Боюсь, учителя могут не понять. :-)

Rgrds, Алексей

Re: [devel] LZMA и 4.x

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 692 bytes --]

On Wed, Jul 02, 2008 at 03:10:17AM +0400, Aleksey Novodvorsky wrote:
> > На 4.1 ещё не выпущено ни одного бета-релиза.
> >
> >  Если обновить rpm, но не запускать 'apt-get --reinstall update', то при
> >  следующем результативном 'apt-get update' (репозитарий изменился) кеш
> >  всё равно будет перегенерирован, и всё рассосётся.
> >
> >  Так что для особо непонятливых можно дать совет в духе "обновите rpm
> >  и подождите несколько дней".
> 
> Боюсь, учителя могут не понять. :-)

Сейчас речь идёт о тех (проблемная группа пользователей), кто сидит на
бранче 4.1, и им придётся столкнуться с LZMA-сжатыми rpm пакетами (если
включить LZMA сжатие в бранче 4.1 по умолчанию).

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] LZMA и 4.1 [JT]

[Vitaly Lipatov]

On 19 июня 2008, Dmitry V. Levin wrote:
...
> Задача обновить пакет rpm и выполнить после этого
> apt-get --reinstall update
> оказалась неочевидной для многих.  Сам видел неоднократно.
Не уверен что найдётся больше 1-2 человек, для кого эта задача 
очевидна. 
Да и что делает --reinstall в контексте update, совершенно не 
ясно и не документировано.
Автоматизация процедуры существенно бы уменьшила количество 
вопросов на ближайший год.

-- 
С уважением,
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [devel] LZMA и 4.1 [JT]

[Michael Shigorin]

On Fri, Jun 20, 2008 at 12:31:25AM +0400, Vitaly Lipatov wrote:
> > Задача обновить пакет rpm и выполнить после этого
> > apt-get --reinstall update
> > оказалась неочевидной для многих.  Сам видел неоднократно.
> Не уверен что найдётся больше 1-2 человек, для кого эта задача 
> очевидна. 
> Да и что делает --reinstall в контексте update, совершенно не
> ясно и не документировано.

Я так понимаю, что-то с локальными копиями хэшей.
Возможно, их достаточно грохнуть и вывалиться?

> Автоматизация процедуры существенно бы уменьшила количество
> вопросов на ближайший год.

Ой да...

Пока добрался сделать более гуглящуюся страничку:
http://wiki.sisyphus.ru/changes/rpm

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/