Re: [devel] [#30287] FAILED (try 4) srpm=intltool-0.41.1-alt1.src.rpm srpm=glib2-2.26.0-alt1.src.rpm ...

Re: [devel] [#30287] FAILED (try 4) srpm=intltool-0.41.1-alt1.src.rpm srpm=glib2-2.26.0-alt1.src.rpm ...

[Yuri N. Sedunov]

В Пнд, 11/10/2010 в 23:57 +0400, Girar Builder robot пишет:
> http://git.altlinux.org/tasks/30287/task/log.4
> 
<skip>
> 2010-Oct-11 23:57:14 :: [i586] #3 cairo.git 1.10.0-alt1: build OK
> 2010-Oct-11 23:57:14 :: [i586] #4 gobject-introspection.git 0.9.10-alt1: build start
> 2010-Oct-11 23:57:16 :: [x86_64] cairo.git 1.10.0-alt1: remote: no need to rebuild
> 2010-Oct-11 23:57:17 :: [x86_64] #3 cairo.git 1.10.0-alt1: build OK
> 2010-Oct-11 23:57:17 :: [x86_64] #4 gobject-introspection.git 0.9.10-alt1: build start
> 2010-Oct-11 23:57:40 :: [i586] gobject-introspection.git 0.9.10-alt1: remote: no need to rebuild
> 2010-Oct-11 23:57:41 :: [i586] #4 gobject-introspection.git 0.9.10-alt1: build OK
> 2010-Oct-11 23:57:41 :: [i586] #5 upower.git 0.9.6-alt2: build start
> 2010-Oct-11 23:57:44 :: [x86_64] gobject-introspection.git 0.9.10-alt1: remote: no need to rebuild
> 2010-Oct-11 23:57:44 :: [x86_64] #4 gobject-introspection.git 0.9.10-alt1: build OK
> 2010-Oct-11 23:57:44 :: [x86_64] #5 upower.git 0.9.6-alt2: build start
> ssh: Killed by signal 15.
> ssh: Killed by signal 15.
> 2010-Oct-11 23:57:49 :: [i586] #5 upower.git 0.9.6-alt2: build FAILED
> 2010-Oct-11 23:57:49 :: [x86_64] #5 upower.git 0.9.6-alt2: build FAILED
> 2010-Oct-11 23:57:49 :: [i586] build FAILED
> 2010-Oct-11 23:57:49 :: [x86_64] build FAILED
> 2010-Oct-11 23:57:49 :: task #30287 for sisyphus FAILED

Что это было? Перезапустить уже не получается:
girar-task run: task #30287 already scheduled for run

-- 
Yuri N. Sedunov

Re: [devel] [#30287] FAILED (try 4) srpm=intltool-0.41.1-alt1.src.rpm srpm=glib2-2.26.0-alt1.src.rpm ...

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1740 bytes --]

On Tue, Oct 12, 2010 at 12:06:58AM +0400, Yuri N. Sedunov wrote:
> В Пнд, 11/10/2010 в 23:57 +0400, Girar Builder robot пишет:
> > http://git.altlinux.org/tasks/30287/task/log.4
> > 
> <skip>
> > 2010-Oct-11 23:57:14 :: [i586] #3 cairo.git 1.10.0-alt1: build OK
> > 2010-Oct-11 23:57:14 :: [i586] #4 gobject-introspection.git 0.9.10-alt1: build start
> > 2010-Oct-11 23:57:16 :: [x86_64] cairo.git 1.10.0-alt1: remote: no need to rebuild
> > 2010-Oct-11 23:57:17 :: [x86_64] #3 cairo.git 1.10.0-alt1: build OK
> > 2010-Oct-11 23:57:17 :: [x86_64] #4 gobject-introspection.git 0.9.10-alt1: build start
> > 2010-Oct-11 23:57:40 :: [i586] gobject-introspection.git 0.9.10-alt1: remote: no need to rebuild
> > 2010-Oct-11 23:57:41 :: [i586] #4 gobject-introspection.git 0.9.10-alt1: build OK
> > 2010-Oct-11 23:57:41 :: [i586] #5 upower.git 0.9.6-alt2: build start
> > 2010-Oct-11 23:57:44 :: [x86_64] gobject-introspection.git 0.9.10-alt1: remote: no need to rebuild
> > 2010-Oct-11 23:57:44 :: [x86_64] #4 gobject-introspection.git 0.9.10-alt1: build OK
> > 2010-Oct-11 23:57:44 :: [x86_64] #5 upower.git 0.9.6-alt2: build start
> > ssh: Killed by signal 15.
> > ssh: Killed by signal 15.
> > 2010-Oct-11 23:57:49 :: [i586] #5 upower.git 0.9.6-alt2: build FAILED
> > 2010-Oct-11 23:57:49 :: [x86_64] #5 upower.git 0.9.6-alt2: build FAILED
> > 2010-Oct-11 23:57:49 :: [i586] build FAILED
> > 2010-Oct-11 23:57:49 :: [x86_64] build FAILED
> > 2010-Oct-11 23:57:49 :: task #30287 for sisyphus FAILED
> 
> Что это было?

Аварийный останов. :)

> Перезапустить уже не получается:
> girar-task run: task #30287 already scheduled for run

Видимо, тот, кто это задание остановил, сам его и перезапустил.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

[devel] parallel build

[Vladimir Lettiev]

On Tue, Oct 12, 2010 at 12:19:42AM +0400, Dmitry V. Levin wrote:
> > Что это было?
> 
> Аварийный останов. :)
> 
> > Перезапустить уже не получается:
> > girar-task run: task #30287 already scheduled for run
> 
> Видимо, тот, кто это задание остановил, сам его и перезапустил.

Когда возникают такие заторы в очереди на сборку возникает мысль,
что паралелльная сборка была бы панацеей.

Возможно ли создание такого планировщика заданий, который бы раскрывал
зависимости поступивших пакетов ( не в виде libfoo.so.*, а в виде имён
пакетов, которые их провайдят ) и отправлял следующий на очереди пакет
на паралелльную сборку, если в его зависимостях нет пакетов, которые
в данный момент собираются или ставил в очередь, если такие зависимости
присутствуют. Такой алгоритм, как мне кажется, вполне жизнеспособен и
не разрушит целостность репозитория.

-- 
Vladimir Lettiev aka crux ✉ theCrux@gmail.com

Re: [devel] parallel build

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1428 bytes --]

On Tue, Oct 12, 2010 at 12:44:28AM +0400, Vladimir Lettiev wrote:
> On Tue, Oct 12, 2010 at 12:19:42AM +0400, Dmitry V. Levin wrote:
> > > Что это было?
> > 
> > Аварийный останов. :)
> > 
> > > Перезапустить уже не получается:
> > > girar-task run: task #30287 already scheduled for run
> > 
> > Видимо, тот, кто это задание остановил, сам его и перезапустил.
> 
> Когда возникают такие заторы в очереди на сборку возникает мысль,
> что паралелльная сборка была бы панацеей.

В данном случае важно, чтобы сборка выполнялась в определённом порядке.
Иначе бы не пришлось останавливать задание #30287 для того, чтобы оно
собиралось после #30023.  Как уже было сказано, в случае массовой
пересборки библиотек и их клиентов порядок имеет значение.

> Возможно ли создание такого планировщика заданий, который бы раскрывал
> зависимости поступивших пакетов ( не в виде libfoo.so.*, а в виде имён
> пакетов, которые их провайдят ) и отправлял следующий на очереди пакет
> на паралелльную сборку, если в его зависимостях нет пакетов, которые
> в данный момент собираются или ставил в очередь, если такие зависимости
> присутствуют. Такой алгоритм, как мне кажется, вполне жизнеспособен и
> не разрушит целостность репозитория.

Алгоритм спекулятивной параллельной сборки вполне жизнеспособен, особенно
когда нет заданий вроде #29354, #30023 и #30287, которые меняют базовую
сборочную среду.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] parallel build

[Vladimir Lettiev]

On Tue, Oct 12, 2010 at 12:58:40AM +0400, Dmitry V. Levin wrote:
> > Возможно ли создание такого планировщика заданий, который бы раскрывал
> > зависимости поступивших пакетов ( не в виде libfoo.so.*, а в виде имён
> > пакетов, которые их провайдят ) и отправлял следующий на очереди пакет
> > на паралелльную сборку, если в его зависимостях нет пакетов, которые
> > в данный момент собираются или ставил в очередь, если такие зависимости
> > присутствуют. Такой алгоритм, как мне кажется, вполне жизнеспособен и
> > не разрушит целостность репозитория.
> 
> Алгоритм спекулятивной параллельной сборки вполне жизнеспособен, особенно
> когда нет заданий вроде #29354, #30023 и #30287, которые меняют базовую
> сборочную среду.

Указанный алгоритм эту ситуацию учитывает.

Задания #29354 и #30287 вообще желательно собирать не в общем потоке,
так как заранее неизвестно соберутся они или нет,  их запускают 
несколько раз выясняя, что нехватает и что надо поправить. И только
после того как оно отработает успешно отправлять на формальную сборку в
Sisyphus.

-- 
Vladimir Lettiev aka crux ✉ theCrux@gmail.com

Re: [devel] parallel build

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1377 bytes --]

On Tue, Oct 12, 2010 at 01:13:46AM +0400, Vladimir Lettiev wrote:
> On Tue, Oct 12, 2010 at 12:58:40AM +0400, Dmitry V. Levin wrote:
> > > Возможно ли создание такого планировщика заданий, который бы раскрывал
> > > зависимости поступивших пакетов ( не в виде libfoo.so.*, а в виде имён
> > > пакетов, которые их провайдят ) и отправлял следующий на очереди пакет
> > > на паралелльную сборку, если в его зависимостях нет пакетов, которые
> > > в данный момент собираются или ставил в очередь, если такие зависимости
> > > присутствуют. Такой алгоритм, как мне кажется, вполне жизнеспособен и
> > > не разрушит целостность репозитория.
> > 
> > Алгоритм спекулятивной параллельной сборки вполне жизнеспособен, особенно
> > когда нет заданий вроде #29354, #30023 и #30287, которые меняют базовую
> > сборочную среду.
> 
> Указанный алгоритм эту ситуацию учитывает.

Нет, к сожалению, пока задание не собралось, теоретически невозможно знать
наверняка, как оно повлияет на сборочную среду других заданий.

> Задания #29354 и #30287 вообще желательно собирать не в общем потоке,
> так как заранее неизвестно соберутся они или нет,  их запускают 
> несколько раз выясняя, что нехватает и что надо поправить. И только
> после того как оно отработает успешно отправлять на формальную сборку в
> Sisyphus.

Да, тут я с вами согласен полностью.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] parallel build

[Vladimir Lettiev]

On Tue, Oct 12, 2010 at 01:29:34AM +0400, Dmitry V. Levin wrote:
> On Tue, Oct 12, 2010 at 01:13:46AM +0400, Vladimir Lettiev wrote:
> > On Tue, Oct 12, 2010 at 12:58:40AM +0400, Dmitry V. Levin wrote:
> > > > Возможно ли создание такого планировщика заданий, который бы раскрывал
> > > > зависимости поступивших пакетов ( не в виде libfoo.so.*, а в виде имён
> > > > пакетов, которые их провайдят ) и отправлял следующий на очереди пакет
> > > > на паралелльную сборку, если в его зависимостях нет пакетов, которые
> > > > в данный момент собираются или ставил в очередь, если такие зависимости
> > > > присутствуют. Такой алгоритм, как мне кажется, вполне жизнеспособен и
> > > > не разрушит целостность репозитория.
> > > 
> > > Алгоритм спекулятивной параллельной сборки вполне жизнеспособен, особенно
> > > когда нет заданий вроде #29354, #30023 и #30287, которые меняют базовую
> > > сборочную среду.
> > 
> > Указанный алгоритм эту ситуацию учитывает.
> 
> Нет, к сожалению, пока задание не собралось, теоретически невозможно знать
> наверняка, как оно повлияет на сборочную среду других заданий.

Ну glibc и perl входят в состав базового сборочного окружения, поэтому по
определению заблокируют параллельную сборку любого пакета.

Тут конечно надо ставить реальные эксперименты, т.к. разговоры так и останутся
разговорами.

-- 
Vladimir Lettiev aka crux ✉ theCrux@gmail.com

Re: [devel] parallel build

[Anton V. Boyarshinov]

> Тут конечно надо ставить реальные эксперименты, т.к. разговоры так и останутся
> разговорами.
Паралелльная сборочница, основанная на спекулятивной сборке без коммита
в репозитарий, весьма эффективно работает для платформы ARM, патчи
доступны в git, Дима их видел.

Антон

Re: [devel] parallel build

[Vladimir Lettiev]

On Tue, Oct 12, 2010 at 11:19:04AM +0400, Anton V. Boyarshinov wrote:
> 
> > Тут конечно надо ставить реальные эксперименты, т.к. разговоры так и останутся
> > разговорами.
> Паралелльная сборочница, основанная на спекулятивной сборке без коммита
> в репозитарий, весьма эффективно работает для платформы ARM, патчи
> доступны в git, Дима их видел.

И каков вердикт?

p.s. Можно ссылку на этот git?

-- 
Vladimir Lettiev aka crux ✉ theCrux@gmail.com

Re: [devel] parallel build

[Anton V. Boyarshinov]

> > Паралелльная сборочница, основанная на спекулятивной сборке без коммита
> > в репозитарий, весьма эффективно работает для платформы ARM, патчи
> > доступны в git, Дима их видел.
> И каков вердикт?
Пока никакого.
 
> p.s. Можно ссылку на этот git?
http://git.altlinux.org/people/boyarsh/packages/?p=girar-builder.git;a=shortlog;h=refs/heads/parallel