[devel] Q: incominger rebuild

[devel] Q: incominger rebuild

[Alexey Gladkov]

Привет!

Проанализировав логи от нового робота, я вижу что мантейнерам очень
тяжело правильно расставить сборочные зависимости с версиями. В тоже
время в ходе предыдущего обсуждения я понял то, что большинству
разработчиков достаточно предоставить механизм для указания
последовательности сборки их пакетов.

Исходя из этого я переписал робота так чтобы он учитывал только (почти
только) BUILDTIME пакетов. У нового робота порядок работы следующий:
* пакеты разделяются по мантейнерам;
* пакеты сортируются по BUILDTIME и формируется линейная очередь;
* пакеты для каждого мантейнера пересобираются по очереди до тех пор,
пока пакеты из очереди собираются.
* если пакет не собрался из-за того что apt в hasher не нашёл пакет
или нужную версию, то такой пакет остаётся в очереди на следующий цикл.

BuildRequires обрабатываются только в hasher. hasher собирает на
сизифе плюс то что уже собрано. Поэтому новый робот не избавляет от
необходимости указывать правильные BuildRequires.

Я могу запустить этого робота уже сегодня.
Вопрос: какой из алогритмов вам больше нравится - текущий или новый ?

Решение нужно принять быстро, поэтому прошу отвечать по делу и
аргументированно.

-- 
Rgrds, legion

Re: [devel] Q: incominger rebuild

[Genix]

Alexey Gladkov wrote:

> Вопрос: какой из алогритмов вам больше нравится - текущий или новый ?

это из серии новое хорошо забытое старое?
вроде уже был период, когда учитывался BUILDTIME?
я голосую за этот вариант

-- 
У каждого в башке свои тараканы...

Re: [devel] Q: incominger rebuild

[Anton Farygin]

Genix wrote:
> Alexey Gladkov wrote:
> 
>> Вопрос: какой из алогритмов вам больше нравится - текущий или новый ?
> 
> это из серии новое хорошо забытое старое?
> вроде уже был период, когда учитывался BUILDTIME?
> я голосую за этот вариант
> 

вариант с buildtime не катит ;(

Нужно делать совместный вариант:
buildtime + зависимости

Re: [devel] Q: incominger rebuild

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1959 bytes --]

On Thu, May 18, 2006 at 01:44:50PM +0400, Alexey Gladkov wrote:
> Проанализировав логи от нового робота, я вижу что мантейнерам очень
> тяжело правильно расставить сборочные зависимости с версиями. В тоже
> время в ходе предыдущего обсуждения я понял то, что большинству
> разработчиков достаточно предоставить механизм для указания
> последовательности сборки их пакетов.

Дело даже не в том, что это тяжело - во многих случаях указание подобных
зависимостей просто не имеет смысла.  Например, если у библиотеки меняется
ABI (и, как следствие, soname), но использующий эту библиотеку пакет может
собраться как со старой, так и с новой версией библиотеки, добавление в
пакет зависимости, блокирующей сборку со старой версией, выглядит
неправильным (как минимум, это создаёт лишнюю работу для backports).

> Исходя из этого я переписал робота так чтобы он учитывал только (почти
> только) BUILDTIME пакетов. У нового робота порядок работы следующий:
> * пакеты разделяются по мантейнерам;
> * пакеты сортируются по BUILDTIME и формируется линейная очередь;
> * пакеты для каждого мантейнера пересобираются по очереди до тех пор,
> пока пакеты из очереди собираются.
> * если пакет не собрался из-за того что apt в hasher не нашёл пакет
> или нужную версию, то такой пакет остаётся в очереди на следующий цикл.

Т.е., теперь все пакеты одного мантейнера будут обрабатываться
последовательно - возможность параллельной сборки вновь пропадает?

> BuildRequires обрабатываются только в hasher. hasher собирает на
> сизифе плюс то что уже собрано. Поэтому новый робот не избавляет от
> необходимости указывать правильные BuildRequires.
> 
> Я могу запустить этого робота уже сегодня.
> Вопрос: какой из алогритмов вам больше нравится - текущий или новый ?

Поскольку о повышении квалификации среднего мантейнера можно только
мечтать, вероятно, придётся всё-таки использовать сортировку по BUILDTIME,
как дающую меньше сюрпризов.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Q: incominger rebuild

[Michael Shigorin]

On Thu, May 18, 2006 at 02:22:19PM +0400, Sergey Vlasov wrote:
> Дело даже не в том, что это тяжело - во многих случаях указание
> подобных зависимостей просто не имеет смысла.

Точнее, это злобный хак, напоминающий мисфичу.

> Например, если у библиотеки меняется ABI (и, как следствие,
> soname), но использующий эту библиотеку пакет может собраться
> как со старой, так и с новой версией библиотеки, добавление в
> пакет зависимости, блокирующей сборку со старой версией,
> выглядит неправильным (как минимум, это создаёт лишнюю работу
> для backports).

Ага.  Сидишь и смотришь -- это вправду предупреждение о граблях
или затычка для машины.  Вот последнего очень-очень хочется
избегать, это их дело работать, наше -- думать всё-таки.

> Поскольку о повышении квалификации среднего мантейнера можно
> только мечтать, вероятно, придётся всё-таки использовать
> сортировку по BUILDTIME, как дающую меньше сюрпризов.

+1

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Q: incominger rebuild

[Nick S. Grechukh]

Michael Shigorin wrote:
> On Thu, May 18, 2006 at 02:22:19PM +0400, Sergey Vlasov wrote:
>> Дело даже не в том, что это тяжело - во многих случаях указание
>> подобных зависимостей просто не имеет смысла.
> 
> Точнее, это злобный хак, напоминающий мисфичу.
> 
>> Например, если у библиотеки меняется ABI (и, как следствие,
>> soname), но использующий эту библиотеку пакет может собраться
>> как со старой, так и с новой версией библиотеки, добавление в
>> пакет зависимости, блокирующей сборку со старой версией,
>> выглядит неправильным (как минимум, это создаёт лишнюю работу
>> для backports).
> 
> Ага.  Сидишь и смотришь -- это вправду предупреждение о граблях
> или затычка для машины.  
+1. и хоть бы комментарии писали в спеке

Re: [devel] Q: incominger rebuild

[Yury Aliaev]

Genix scripsit:
> 
>>Вопрос: какой из алогритмов вам больше нравится - текущий или новый ?
> 
> 
> это из серии новое хорошо забытое старое?
> вроде уже был период, когда учитывался BUILDTIME?
> я голосую за этот вариант
> 

+1

Re: [devel] Q: incominger rebuild

[Alexey Gladkov]

Genix wrote:
> это из серии новое хорошо забытое старое?

Именно так. Раньше так и было... вернее почти так. Раньше была единая
очередь. Отказаться от той схемы пришлось из-за очень медленной обработки.
В новой старой схеме параллельность есть и пакеты обрабатываются быстрее.

> вроде уже был период, когда учитывался BUILDTIME?

да.

> я голосую за этот вариант

ок.

-- 
Rgrds, legion

Re: [devel] Q: incominger rebuild

[Alexey Gladkov]

Sergey Vlasov wrote:
> Т.е., теперь все пакеты одного мантейнера будут обрабатываться
> последовательно - возможность параллельной сборки вновь пропадает?

Совершенно верно.

> Поскольку о повышении квалификации среднего мантейнера можно только
> мечтать, вероятно, придётся всё-таки использовать сортировку по BUILDTIME,
> как дающую меньше сюрпризов.

Именно этими мыслями руководствовался я когда переделывал робота :)

-- 
Rgrds, legion

Re: [devel] Q: incominger rebuild

[Alexey Gladkov]

Alexey Gladkov wrote:
> Решение нужно принять быстро, поэтому прошу отвечать по делу и
> аргументированно.

Благодарю всех. Возражений я не увидел. Решение принято. Новый робот
вступает в строй.

-- 
Rgrds, legion

Re: [devel] Q: incominger rebuild

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 456 bytes --]

Hi Alexey!

Friday 19, at 03:35:28 AM you wrote:

> Alexey Gladkov wrote:
> > Решение нужно принять быстро, поэтому прошу отвечать по делу и
> > аргументированно.
> 
> Благодарю всех. Возражений я не увидел. Решение принято. Новый робот
> вступает в строй.
У меня есть просьба - чтобы этот робот для ядер пакеты по buildtime не
выстраивал, а просто сначала собирал все feat/fix, а уже потом с ними
пересбирал ядро и модули.

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 191 bytes --]

Re: [devel] Q: incominger rebuild

[Alexey Gladkov]

Konstantin A. Lepikhov wrote:
> У меня есть просьба - чтобы этот робот для ядер пакеты по buildtime не
> выстраивал, а просто сначала собирал все feat/fix, а уже потом с ними
> пересбирал ядро и модули.

sort ничего про ядра не знает. А чем неустраивает buildtime ?
Его очень легко исправить:

$ rpmbuild -bs --nodeps kernel-feat-*.spec kernel-fix-*.spec
kernel-image-*.spec kernel-modules-*.spec

-- 
Rgrds, legion

Re: [devel] Q: incominger rebuild

[Anton Farygin]

Alexey Gladkov wrote:
> Konstantin A. Lepikhov wrote:
>> У меня есть просьба - чтобы этот робот для ядер пакеты по buildtime не
>> выстраивал, а просто сначала собирал все feat/fix, а уже потом с ними
>> пересбирал ядро и модули.
> 
> sort ничего про ядра не знает. А чем неустраивает buildtime ?
> Его очень легко исправить:
> 
> $ rpmbuild -bs --nodeps kernel-feat-*.spec kernel-fix-*.spec
> kernel-image-*.spec kernel-modules-*.spec
> 

наивный.

Там половина спеков генерится специальным образом.

Rgds,
Rider

Re: [devel] Q: incominger rebuild

[Alexey Gladkov]

Anton Farygin wrote:
> наивный.
> 
> Там половина спеков генерится специальным образом.

Да какая разница откуда берётся srpm ?!
Перепаковать его в rpmbox можно всегда.

-- 
Rgrds, legion

Re: [devel] Q: incominger rebuild

[Денис Смирнов]

On Fri, May 19, 2006 at 12:38:00PM +0400, Alexey Gladkov wrote:

AG> Да какая разница откуда берётся srpm ?!
AG> Перепаковать его в rpmbox можно всегда.

Если _можно_ придумать простую эвристику, облегчающую жизнь мантейнеру, то
это сделать _нужно_.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

Re: [devel] Q: incominger rebuild

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 344 bytes --]

Hi Alexey!

Friday 19, at 12:38:00 PM you wrote:

> Anton Farygin wrote:
> > наивный.
> > 
> > Там половина спеков генерится специальным образом.
> 
> Да какая разница откуда берётся srpm ?!
> Перепаковать его в rpmbox можно всегда.
можно, но это уже лишняя работа ради _робота_. А я не работаю ради
_робота_ ;)

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 191 bytes --]

Re: [devel] Q: incominger rebuild

[Stanislav Ievlev]

On Fri, May 19, 2006 at 04:58:00PM +0400, Денис Смирнов wrote:
> On Fri, May 19, 2006 at 12:38:00PM +0400, Alexey Gladkov wrote:
> 
> AG> Да какая разница откуда берётся srpm ?!
> AG> Перепаковать его в rpmbox можно всегда.
> 
> Если _можно_ придумать простую эвристику, облегчающую жизнь мантейнеру, то
> это сделать _нужно_.

Как показывает практика всем _нужна_ _разная_ _простая_ эвристика. Всех не
удовлетворишь, а поэтому самый лучший способ:
incominger предлагает самую простую эвристику, а все остальные сводятся к
ней (что сейчас Алексей и предложил).

А посему, если кому-то хочется своей _простой_ эвристики, то ему будет
_просто_ сделать скриптец для простановке buildtime перед отправкой на
сборку.

Если чья-то эвристика станет-таки общепринятой, то она будет включена в
виде пакета в Сизиф и использоваться incominger@.

Мне кажется это справедливый подход ибо всех никогда не удовлетворишь.

Re: [devel] Q: incominger rebuild

[Stanislav Ievlev]

On Fri, May 19, 2006 at 10:34:48PM +0400, Konstantin A. Lepikhov wrote:
> Hi Alexey!
> 
> Friday 19, at 12:38:00 PM you wrote:
> 
> > Anton Farygin wrote:
> > > наивный.
> > > 
> > > Там половина спеков генерится специальным образом.
> > 
> > Да какая разница откуда берётся srpm ?!
> > Перепаковать его в rpmbox можно всегда.
> можно, но это уже лишняя работа ради _робота_. А я не работаю ради
> _робота_ ;)
можно сделать _робота_ работающего ради _робота_ ;)

При любом алгоритме, найдётся человек, который его нарушает, робот заржавел и запутался в своих гайках,
пытаясь всех удовлетворить, а по сему ему на смену пришли пара рычагов ;)

Re: [devel] Q: incominger rebuild

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 335 bytes --]

On Friday 19 May 2006 11:54, Alexey Gladkov wrote:

[...]
> А чем неустраивает buildtime ?
Тем, что его придется постоянно отслеживать и исправлять. Мне, во 
всяком случае.
Меня BuildRequires больше устраивают.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 191 bytes --]

Re: [devel] Q: incominger rebuild

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 686 bytes --]

On Monday 22 May 2006 11:59, Stanislav Ievlev wrote:

[...]
> А посему, если кому-то хочется своей _простой_ эвристики, то ему
> будет _просто_ сделать скриптец для простановке buildtime перед 
> отправкой на сборку.
IMHO так же просто как incominger-у

> Если чья-то эвристика станет-таки общепринятой
> включена в виде пакета в Сизиф и использоваться incominger@.
> Мне кажется это справедливый подход ибо всех никогда не
> удовлетворишь.
Может тогда каждый мантейнер запакует себе свою эвристику, а 
incoming перед этим придумает стандартный интерфейс к ней?

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 191 bytes --]