[devel] repocop: arch-dep-package-has-big-usr-share

[devel] repocop: arch-dep-package-has-big-usr-share

[Igor Vlasenko]

Господа!
А чем у нас закончилось внедрение noarch subpackages
в %arch пакетах?

Вроде бы в рассылке сначала пошли рассказы о граблях,
когда пытались так залить apache2,
потом все стихло.

А какой отсюда вывод, в рассылке не прозвучало.

Вопрос: можно ли у нас в Сизифе пользоваться этой фичей или нет?
и как с ней в 4.1?

а то я было включил в репокопе ругань

 arch-dep-package-has-big-usr-share 	 The package has a significant amount of architecture-independent data in /usr/share, while it is an architecture-dependent package. This is wasteful of mirror space and bandwidth, as we then end up with multiple copies of this data, one for each architecture. If the data in /usr/share is not architecture-independent, it is a policy violation, and in this case, you should move that data elsewhere.

Но если еще рано, я ее опять отключу.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 262 bytes --]

Igor Vlasenko пишет:
> Господа!
> А чем у нас закончилось внедрение noarch subpackages
> в %arch пакетах?
> 
...
> 
> Вопрос: можно ли у нас в Сизифе пользоваться этой фичей или нет?
> и как с ней в 4.1?

  И в 4.0

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 552 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Led]

В сообщении от Thursday 31 July 2008 17:21:10 Igor Vlasenko написал(а):
> Господа!
> А чем у нас закончилось внедрение noarch subpackages
> в %arch пакетах?

Не знаю как кто, а в своих пакетах использую как только эта фича появилась.

-- 
Led

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Alexey Shabalin]

31 июля 2008 г. 18:35 пользователь Led написал:
> В сообщении от Thursday 31 July 2008 17:21:10 Igor Vlasenko написал(а):
>> Господа!
>> А чем у нас закончилось внедрение noarch subpackages
>> в %arch пакетах?
>
> Не знаю как кто, а в своих пакетах использую как только эта фича появилась.

У меня тоже уже есть такие пакеты, прошедшие в сизиф.
Так что можно считать, что работает.
-- 
Alexey Shabalin

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 646 bytes --]

Alexey Shabalin пишет:
> 31 июля 2008 г. 18:35 пользователь Led написал:
>> В сообщении от Thursday 31 July 2008 17:21:10 Igor Vlasenko написал(а):
>>> Господа!
>>> А чем у нас закончилось внедрение noarch subpackages
>>> в %arch пакетах?
>> Не знаю как кто, а в своих пакетах использую как только эта фича появилась.
> 
> У меня тоже уже есть такие пакеты, прошедшие в сизиф.
> Так что можно считать, что работает.

  Вопрос: Как поступать с такими пакетами при помещение их в бранч 4.0?
(Можно ли BuildArch: noarch как нибудь обifить, чтобы бранчевский rpm
такие пакеты правильно переваривал?)

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 552 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1180 bytes --]

On Thu, Jul 31, 2008 at 05:21:10PM +0300, Igor Vlasenko wrote:
> А чем у нас закончилось внедрение noarch subpackages
> в %arch пакетах?
> 
> Вроде бы в рассылке сначала пошли рассказы о граблях,
> когда пытались так залить apache2,
> потом все стихло.

Основная грабля состоит в том, что пакет должен собраться
на двух основных архитектурах.  Если на одной собрался,
а на другой не собрался, то получается прокол.

> Вопрос: можно ли у нас в Сизифе пользоваться этой фичей или нет?
> и как с ней в 4.1?

Сбекпорчено в 4.0 и 4.1.
В принципе можно использовать.

> а то я было включил в репокопе ругань
>  arch-dep-package-has-big-usr-share 	 The package has a significant
>  amount of architecture-independent data in /usr/share, while it is an
>  architecture-dependent package. This is wasteful of mirror space and
>  bandwidth, as we then end up with multiple copies of this data, one
>  for each architecture. If the data in /usr/share is not
>  architecture-independent, it is a policy violation, and in this case,

I wouldn't go so far as to call it a violation.

>  you should move that data elsewhere.
> Но если еще рано, я ее опять отключу.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 670 bytes --]

On Thu, Jul 31, 2008 at 06:51:34PM +0400, Alexey Tourbin wrote:
> > а то я было включил в репокопе ругань
> >  arch-dep-package-has-big-usr-share 	 The package has a significant
> >  amount of architecture-independent data in /usr/share, while it is an
> >  architecture-dependent package. This is wasteful of mirror space and
> >  bandwidth, as we then end up with multiple copies of this data, one
> >  for each architecture. If the data in /usr/share is not
> >  architecture-independent, it is a policy violation, and in this case,
> 
> I wouldn't go so far as to call it a violation.

Oh, having architecture-dependent data in /usr/share surely is one.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Igor Vlasenko]

On Thu, Jul 31, 2008 at 07:01:08PM +0400, Alexey Tourbin wrote:
> Oh, having architecture-dependent data in /usr/share surely is one.

Вроде бы это уже проверяет sisyphus_check?

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Igor Vlasenko]

On Thu, Jul 31, 2008 at 06:51:34PM +0400, Alexey Tourbin wrote:
> I wouldn't go so far as to call it a violation.

Тест пока на уровне experimental.

ok < experimental < info < warn < fail

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 953 bytes --]

On Thu, Jul 31, 2008 at 05:21:10PM +0300, Igor Vlasenko wrote:
>  arch-dep-package-has-big-usr-share 	 The package has a significant
>  amount of architecture-independent data in /usr/share, while it is an

Неплохо бы каждому пакету сопоставить вес /usr/share части:

p(S,s)->[0..1]

S - абсолютный размер пакета,
s - абсолютный размер /usr/share части;

0 - нет /usr/share,
1 - всё в /usr/share.

Идея в том, чтобы учитывать не только относительный размер s/S,
но и абсолютный S, чтобы не распиливать слишком маленькие пакеты.
Точнее, весовая функция p должна корректировать вес с учетом абсолютного
размера.  Поскольку абсолютный размер имеет физическую размерность (в
байтах), нужно ещё добавить параметр m, который корректирует искривление
функции p.

p(S,s,m)->[0..1]

m - порядка 2^{20} (1 мегабайт).

Какой должна быть функция p, чтобы наибольший вес получили пакеты,
в которых "по смыслу" нужно отпилить noarch кусок?

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1176 bytes --]

On Thu, Jul 31, 2008 at 09:35:29PM +0400, Alexey Tourbin wrote:
> On Thu, Jul 31, 2008 at 05:21:10PM +0300, Igor Vlasenko wrote:
> >  arch-dep-package-has-big-usr-share 	 The package has a significant
> >  amount of architecture-independent data in /usr/share, while it is an
> 
> Неплохо бы каждому пакету сопоставить вес /usr/share части:
> 
> p(S,s)->[0..1]
> 
> S - абсолютный размер пакета,
> s - абсолютный размер /usr/share части;
> 
> 0 - нет /usr/share,
> 1 - всё в /usr/share.
> 
> Идея в том, чтобы учитывать не только относительный размер s/S,
> но и абсолютный S, чтобы не распиливать слишком маленькие пакеты.
> Точнее, весовая функция p должна корректировать вес с учетом абсолютного
> размера.  Поскольку абсолютный размер имеет физическую размерность (в
> байтах), нужно ещё добавить параметр m, который корректирует искривление
> функции p.
> 
> p(S,s,m)->[0..1]
> 
> m - порядка 2^{20} (1 мегабайт).
> 
> Какой должна быть функция p, чтобы наибольший вес получили пакеты,
> в которых "по смыслу" нужно отпилить noarch кусок?

Вот креатив, который поясняет то, что я имел в виду.
ftp://ftp.altlinux.ru/pub/people/at/pSsm01.jpg

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Igor Vlasenko]

On Thu, Jul 31, 2008 at 11:24:06PM +0400, Alexey Tourbin wrote:
> On Thu, Jul 31, 2008 at 09:35:29PM +0400, Alexey Tourbin wrote:
> > On Thu, Jul 31, 2008 at 05:21:10PM +0300, Igor Vlasenko wrote:
> > >  arch-dep-package-has-big-usr-share 	 The package has a significant
> > >  amount of architecture-independent data in /usr/share, while it is an
> > 
> > Неплохо бы каждому пакету сопоставить вес /usr/share части:
> > 
> > p(S,s)->[0..1]
> > 
> > S - абсолютный размер пакета,
> > s - абсолютный размер /usr/share части;
> > 
> > 0 - нет /usr/share,
> > 1 - всё в /usr/share.
> > 
> > Идея в том, чтобы учитывать не только относительный размер s/S,
> > но и абсолютный S, чтобы не распиливать слишком маленькие пакеты.
> > Точнее, весовая функция p должна корректировать вес с учетом абсолютного
> > размера.  Поскольку абсолютный размер имеет физическую размерность (в
> > байтах), нужно ещё добавить параметр m, который корректирует искривление
> > функции p.
> > 
> > p(S,s,m)->[0..1]
> > 
> > m - порядка 2^{20} (1 мегабайт).
> > 
> > Какой должна быть функция p, чтобы наибольший вес получили пакеты,
> > в которых "по смыслу" нужно отпилить noarch кусок?
> 
> Вот креатив, который поясняет то, что я имел в виду.
> ftp://ftp.altlinux.ru/pub/people/at/pSsm01.jpg

Сейчас там на плоскости (S,s) вырезается первое приближение к гиперболе:
|
| |
|  \ _
|________

DELETE FROM t1 WHERE total <= 1048576;
DELETE FROM t2 WHERE usrshare <= 1048576;
отбрасываются пакеты с total < 1mb и с /usr/share/ < 1mb
INSERT INTO t3 SELECT t1.pkgid, total, usrshare FROM t2 LEFT JOIN t1 ON t1.pkgid=t2.pkgid WHERE usrshare > 2097152 OR (usrshare > 1048576 AND usrshare/total > 0.5);
затем выделяются пакеты с /usr/share/ > 2mb либо /usr/share/> 1mb и s/S >0.5.

В принципе можно сгладить, 
только не понятно, стоит ли размениваться на пакеты S,s < 1mb.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1727 bytes --]

On Thu, Jul 31, 2008 at 11:10:29PM +0300, Igor Vlasenko wrote:
> Сейчас там на плоскости (S,s) вырезается первое приближение к гиперболе:
> |
> | |
> |  \ _
> |________
> 
> DELETE FROM t1 WHERE total <= 1048576;
> DELETE FROM t2 WHERE usrshare <= 1048576;
> отбрасываются пакеты с total < 1mb и с /usr/share/ < 1mb
> INSERT INTO t3 SELECT t1.pkgid, total, usrshare FROM t2 LEFT JOIN t1 ON t1.pkgid=t2.pkgid WHERE usrshare > 2097152 OR (usrshare > 1048576 AND usrshare/total > 0.5);
> затем выделяются пакеты с /usr/share/ > 2mb либо /usr/share/> 1mb и s/S >0.5.
> 
> В принципе можно сгладить, 
> только не понятно, стоит ли размениваться на пакеты S,s < 1mb.

У веса есть по крайней мере одно преимущество: если p=1, то это значит,
что либо все файлы в /usr/share, либо в пакете вообще нет файлов (это
зависит от того, как доопределить функцию).  В любом случае, такой пакет
очень просто сделать noarch (достаточно вписать "BuildArch: noarch",
ничего распиливать не надо).  (Правда, основной пакет нельзя сделать
noarch.)

Для остальных пакетов, которые нужно распиливать, отношение s/S будет,
скажем, в районе [0.5..1).  (Поясняю для остальных.)  Если размер пакета
близок к характерному размеру m, то p=s/S это и будет вес /usr/share части.
Для маленьких пакетов вес будет корректироваться в меньшую сторону: p<s/S,
чтобы не распиливать понапрасну маленькие пакеты.  А для больших пакетов
вес будет корректироваться в большую сторону: p>s/S, потому что даже
при, скажем, s/S=0.3 получается жирный лакомый кусок.  Короче,
непрерывная весовая функция позволяет легче определить, где искать кошелёк.

Правда, частный случай p=1 тоже легко отследить SQL запросом:
	... WHERE total = usrshare;

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Igor Vlasenko]

On Fri, Aug 01, 2008 at 01:26:46AM +0400, Alexey Tourbin wrote:
> On Thu, Jul 31, 2008 at 11:10:29PM +0300, Igor Vlasenko wrote:
> > Сейчас там на плоскости (S,s) вырезается первое приближение к гиперболе:
> > |
> > | |
> > |  \ _
> > |________
> > 
> > DELETE FROM t1 WHERE total <= 1048576;
> > DELETE FROM t2 WHERE usrshare <= 1048576;
> > отбрасываются пакеты с total < 1mb и с /usr/share/ < 1mb
> > INSERT INTO t3 SELECT t1.pkgid, total, usrshare FROM t2 LEFT JOIN t1 ON t1.pkgid=t2.pkgid WHERE usrshare > 2097152 OR (usrshare > 1048576 AND usrshare/total > 0.5);
> > затем выделяются пакеты с /usr/share/ > 2mb либо /usr/share/> 1mb и s/S >0.5.
> > 
> > В принципе можно сгладить, 
> > только не понятно, стоит ли размениваться на пакеты S,s < 1mb.
> 
> У веса есть по крайней мере одно преимущество: если p=1, то это значит,
> что либо все файлы в /usr/share, либо в пакете вообще нет файлов (это
> зависит от того, как доопределить функцию).  В любом случае, такой пакет
> очень просто сделать noarch (достаточно вписать "BuildArch: noarch",
> ничего распиливать не надо).  (Правда, основной пакет нельзя сделать
> noarch.)
> 
> Правда, частный случай p=1 тоже легко отследить SQL запросом:
> 	... WHERE total = usrshare;

И сообщение в этом случае другое надо давать:
вместо has a significant amount of architecture-independent data -
consists of architecture-independent data in /usr/share...

Чтобы легче было отследить подпакеты, в которых достаточно
только добавить BuildArch: noarch.

Сделано в repocop-unittest-lintian-noncollectors-0.10.1.23.48-alt4.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] repocop: arch-dep-package-has-big-usr-share

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 370 bytes --]

On Thu, Jul 31, 2008 at 09:35:29PM +0400, Alexey Tourbin wrote:
> Неплохо бы каждому пакету сопоставить вес /usr/share части:
А вы считаете размер на ФС или размер в пакете? :)

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

> Created an attachment (id=599) [...]
Какой послушный мальчик.  Ну как такое не принять :-)
		-- mike in #5263

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]