[devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Igor Zubkov]

Hi!

В текущий момент обновление одного бранча на prometheus.altlinux.org
достаточно ёмкая задача по времени (выдержка из лога):
import src.rpm's
2009-12-14 05:15:05 +0300
2009-12-14 05:23:14 +0300
import i586.rpm's
2009-12-14 05:23:14 +0300
2009-12-14 05:32:59 +0300
import noarch.rpm's
2009-12-14 05:32:59 +0300
2009-12-14 05:40:23 +0300
import x86_64.rpm's
2009-12-14 05:40:23 +0300
2009-12-14 05:49:32 +0300

Итого, 34 минуты. А ещё надо ACLи обновить:
import acls
2009-12-14 05:49:32 +0300
2009-12-14 05:51:48 +0300

Ещё две минуты. Всего 36 минут. И это только для одного бранча (в
данном случае -- Сизиф). А надо ещё 5 таких обработать. Это слишком не
рентабельно по скорости и потребляемым ресурсам. И банально просто не
удобно т.к. раньше чем через сутки не видно изменений на сайте (это
относится к пакетам только, ACL'и обновляется каждый час).

Предлагаю доделать к сборочнице немного доп.функций для лёгкой
интеграции с prometheus2.0:
1) в папке с архивом сборки (или будет более правильно, задания)
(например, http://git.altlinux.org/tasks/archive/done/17030/) добавить
файл prometheus.log для парсинга prometehus2.0. О формате чуть позже.
2) после успешной сборки задания, делать pingback на сайт
prometheus.a.o. примерно вот так:
wget -c "http://prometheus.altlinux.org/pingback/номерзадания/prometheus.status"
далее, если в prometheus.status написано "ok" больше ничего не делать.
В противном случае, прийти через (к примеру) час.

О формате prometheus.log:
1) одна строка -- одна команда
2) команд сколько угодно
3) команды всегда большими

Формат prometheus.log для парсинга:
1) удаление пакета:
DELETE <бранч> <поле имя (Name:) из src.rpm> <кем (логин)>
Пример:
DELETE sisyphus nexuiz icesik

2) добавление нового пакета в репозиторий:
NEW <бранч> <поле имя (Name:) из src.rpm> <version> <release> <кем (логин)>
Пример:
NEW sisyphus nexuiz 2.5.2 alt1 icesik

Так как зная имя src.rpm нельзя быстро узнать список пакетов которые
собраны из него, то придётся их указывать:
PACKAGE <бранч> <поле имя (Name:) из src.rpm> <arch> <имя бинарного
пакета (поле Name: из него)>
Пример:
PACKAGE sisyphus nexuiz i586 nexuiz-client-sdl
PACKAGE sisyphus nexuiz i586 nexuiz-client-glx
PACKAGE sisyphus nexuiz i586 nexuiz-client-common
PACKAGE sisyphus nexuiz i586 nexuiz-server

3) обновление пакета:
UPDATE <бранч> <поле имя (Name:) из src.rpm> <version> <release> <кем (логин)>
Пример:
UPDATE sisyphus nexuiz 2.5.2 alt1 icesik

Так как зная имя src.rpm нельзя быстро узнать список пакетов которые
собраны из него, то придётся их указывать:
PACKAGE <бранч> <поле имя (Name:) из src.rpm> <arch> <имя бинарного
пакета (поле Name: из него)>
Пример:
PACKAGE sisyphus nexuiz i586 nexuiz-client-sdl
PACKAGE sisyphus nexuiz i586 nexuiz-client-glx
PACKAGE sisyphus nexuiz i586 nexuiz-client-common
PACKAGE sisyphus nexuiz i586 nexuiz-server

4) изменение ACL:
ACL <branch> <package name> (ADD|DELETE) login
Пример:
ACL sisyphus nexuiz ADD icesik

Это черновик того что охота (скорее я всё таки что-то забыл). Ну как?
Изменения в prometheus2.0 для поддержки такого я готов написать.
Осталось найти того кто напишет такое для girar.

Предлагаю обсудить это всё.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Michael Shigorin]

On Mon, Dec 14, 2009 at 07:16:45PM +0200, Igor Zubkov wrote:
> В текущий момент обновление одного бранча на prometheus.altlinux.org
> достаточно ёмкая задача по времени (выдержка из лога):

А ты каждый раз все пакеты заново потрошишь?

> 2) после успешной сборки задания, делать pingback на сайт
> prometheus.a.o. примерно вот так:
> wget -c "http://prometheus.altlinux.org/pingback/номерзадания/prometheus.status"
> далее, если в prometheus.status написано "ok" больше ничего не делать.
> В противном случае, прийти через (к примеру) час.

Думаю, ты можешь надеяться на один пинг без повторов, но вообще
дёрганье вместо поллинга всяко разумней.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Igor Zubkov]

14 декабря 2009 г. 23:55 пользователь Michael Shigorin написал:
> On Mon, Dec 14, 2009 at 07:16:45PM +0200, Igor Zubkov wrote:
>> В текущий момент обновление одного бранча на prometheus.altlinux.org
>> достаточно ёмкая задача по времени (выдержка из лога):
> А ты каждый раз все пакеты заново потрошишь?

Да.

>> 2) после успешной сборки задания, делать pingback на сайт
>> prometheus.a.o. примерно вот так:
>> wget -c "http://prometheus.altlinux.org/pingback/номерзадания/prometheus.status"
>> далее, если в prometheus.status написано "ok" больше ничего не делать.
>> В противном случае, прийти через (к примеру) час.
>
> Думаю, ты можешь надеяться на один пинг без повторов, но вообще
> дёрганье вместо поллинга всяко разумней.

Техническая часть очень простая, дернули prometheus, а он через 30
минут (или больше) пошёл отрабатывать таск. Это связано с тем что срез
Сизифа который находится возле prometheus.a.o обновляется раз в пол
часа. Я думаю что раньше чем через 1,5 часа изменения нельзя будет
увидеть на prometheus. Даже в таком случае, это будет быстрее чем
сейчас.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Michael Shigorin]

On Tue, Dec 15, 2009 at 04:53:36PM +0200, Igor Zubkov wrote:
> >> В текущий момент обновление одного бранча на prometheus.altlinux.org
> >> достаточно ёмкая задача по времени (выдержка из лога):
> > А ты каждый раз все пакеты заново потрошишь?
> Да.

Почто?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2911 bytes --]

Hi,

On Mon, Dec 14, 2009 at 07:16:45PM +0200, Igor Zubkov wrote:
> В текущий момент обновление одного бранча на prometheus.altlinux.org
> достаточно ёмкая задача по времени (выдержка из лога):
[...]
> Итого, 34 минуты. А ещё надо ACLи обновить:
> import acls
> 2009-12-14 05:49:32 +0300
> 2009-12-14 05:51:48 +0300
> 
> Ещё две минуты. Всего 36 минут. И это только для одного бранча (в
> данном случае -- Сизиф). А надо ещё 5 таких обработать. Это слишком не
> рентабельно по скорости и потребляемым ресурсам. И банально просто не
> удобно т.к. раньше чем через сутки не видно изменений на сайте (это
> относится к пакетам только, ACL'и обновляется каждый час).

Yes, I agree that's dump and pretty useless.

> Предлагаю доделать к сборочнице немного доп.функций для лёгкой
> интеграции с prometheus2.0:
> 1) в папке с архивом сборки (или будет более правильно, задания)
> (например, http://git.altlinux.org/tasks/archive/done/17030/) добавить
> файл prometheus.log для парсинга prometehus2.0. О формате чуть позже.

The task directory should contain all necessary information already, see
http://git.altlinux.org/people/ldv/packages/?p=girar-builder.git;a=blob_plain;f=TASK

Taking recently completed task #17322 as an example:
$ GET http://git.altlinux.org/tasks/archive/done/17322/task/repo
sisyphus
$ GET http://git.altlinux.org/tasks/archive/done/17322/plan/add-src+bin
vim	4:7.2.315-alt1	vim-7.2.315-alt1.src.rpm	rpm-build-vim	4:7.2.315-alt1	i586	rpm-build-vim-7.2.315-alt1.i586.rpm
vim	4:7.2.315-alt1	vim-7.2.315-alt1.src.rpm	rpm-build-vim	4:7.2.315-alt1	x86_64	rpm-build-vim-7.2.315-alt1.x86_64.rpm
[...]
vim	4:7.2.315-alt1	vim-7.2.315-alt1.src.rpm	xxd	4:7.2.315-alt1	i586	xxd-7.2.315-alt1.i586.rpm
vim	4:7.2.315-alt1	vim-7.2.315-alt1.src.rpm	xxd	4:7.2.315-alt1	x86_64	xxd-7.2.315-alt1.x86_64.rpm
$ GET http://git.altlinux.org/tasks/archive/done/17322/plan/rm-src+bin
vim	4:7.2.284-alt1.1	vim-7.2.284-alt1.1.src.rpm	rpm-build-vim	4:7.2.284-alt1.1	i586	rpm-build-vim-7.2.284-alt1.1.i586.rpm
vim	4:7.2.284-alt1.1	vim-7.2.284-alt1.1.src.rpm	rpm-build-vim	4:7.2.284-alt1.1	x86_64	rpm-build-vim-7.2.284-alt1.1.x86_64.rpm
[...]
vim	4:7.2.284-alt1.1	vim-7.2.284-alt1.1.src.rpm	xxd	4:7.2.284-alt1.1	i586	xxd-7.2.284-alt1.1.i586.rpm
vim	4:7.2.284-alt1.1	vim-7.2.284-alt1.1.src.rpm	xxd	4:7.2.284-alt1.1	x86_64	xxd-7.2.284-alt1.1.x86_64.rpm

and so on.

> 2) после успешной сборки задания, делать pingback на сайт
> prometheus.a.o. примерно вот так:
> wget -c "http://prometheus.altlinux.org/pingback/номерзадания/prometheus.status"
> далее, если в prometheus.status написано "ok" больше ничего не делать.

Yes, that's possible.

> В противном случае, прийти через (к примеру) час.

No, that's hardly possible.

Another thing I could probably implement is a downloadable list of successfully
completed tasks, the file that could be polled.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Kirill A. Shutemov]

2009/12/15 Dmitry V. Levin <ldv@altlinux.org>:
> Another thing I could probably implement is a downloadable list of successfully
> completed tasks, the file that could be polled.

Please, sort it by time of completing.

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Stanislav Ievlev]

Наверное лучше всего если бы сборочная (и не только) инфраструктура
предоставляла бы хуки, которыми мог бы пользоваться и prometeus и
другие средства, например gitorius. В этом случае можно было бы не
использовать никаких промежуточных форматов, а писать изменения прямо
в базу, если это требуется.

14 декабря 2009 г. 20:16 пользователь Igor Zubkov
<igor.zubkov@gmail.com> написал:
> Hi!
>
> В текущий момент обновление одного бранча на prometheus.altlinux.org
> достаточно ёмкая задача по времени (выдержка из лога):
> import src.rpm's
> 2009-12-14 05:15:05 +0300
> 2009-12-14 05:23:14 +0300
> import i586.rpm's
> 2009-12-14 05:23:14 +0300
> 2009-12-14 05:32:59 +0300
> import noarch.rpm's
> 2009-12-14 05:32:59 +0300
> 2009-12-14 05:40:23 +0300
> import x86_64.rpm's
> 2009-12-14 05:40:23 +0300
> 2009-12-14 05:49:32 +0300
>
> Итого, 34 минуты. А ещё надо ACLи обновить:
> import acls
> 2009-12-14 05:49:32 +0300
> 2009-12-14 05:51:48 +0300
>
> Ещё две минуты. Всего 36 минут. И это только для одного бранча (в
> данном случае -- Сизиф). А надо ещё 5 таких обработать. Это слишком не
> рентабельно по скорости и потребляемым ресурсам. И банально просто не
> удобно т.к. раньше чем через сутки не видно изменений на сайте (это
> относится к пакетам только, ACL'и обновляется каждый час).
>
> Предлагаю доделать к сборочнице немного доп.функций для лёгкой
> интеграции с prometheus2.0:
> 1) в папке с архивом сборки (или будет более правильно, задания)
> (например, http://git.altlinux.org/tasks/archive/done/17030/) добавить
> файл prometheus.log для парсинга prometehus2.0. О формате чуть позже.
> 2) после успешной сборки задания, делать pingback на сайт
> prometheus.a.o. примерно вот так:
> wget -c "http://prometheus.altlinux.org/pingback/номерзадания/prometheus.status"
> далее, если в prometheus.status написано "ok" больше ничего не делать.
> В противном случае, прийти через (к примеру) час.
>
> О формате prometheus.log:
> 1) одна строка -- одна команда
> 2) команд сколько угодно
> 3) команды всегда большими
>
> Формат prometheus.log для парсинга:
> 1) удаление пакета:
> DELETE <бранч> <поле имя (Name:) из src.rpm> <кем (логин)>
> Пример:
> DELETE sisyphus nexuiz icesik
>
> 2) добавление нового пакета в репозиторий:
> NEW <бранч> <поле имя (Name:) из src.rpm> <version> <release> <кем (логин)>
> Пример:
> NEW sisyphus nexuiz 2.5.2 alt1 icesik
>
> Так как зная имя src.rpm нельзя быстро узнать список пакетов которые
> собраны из него, то придётся их указывать:
> PACKAGE <бранч> <поле имя (Name:) из src.rpm> <arch> <имя бинарного
> пакета (поле Name: из него)>
> Пример:
> PACKAGE sisyphus nexuiz i586 nexuiz-client-sdl
> PACKAGE sisyphus nexuiz i586 nexuiz-client-glx
> PACKAGE sisyphus nexuiz i586 nexuiz-client-common
> PACKAGE sisyphus nexuiz i586 nexuiz-server
>
> 3) обновление пакета:
> UPDATE <бранч> <поле имя (Name:) из src.rpm> <version> <release> <кем (логин)>
> Пример:
> UPDATE sisyphus nexuiz 2.5.2 alt1 icesik
>
> Так как зная имя src.rpm нельзя быстро узнать список пакетов которые
> собраны из него, то придётся их указывать:
> PACKAGE <бранч> <поле имя (Name:) из src.rpm> <arch> <имя бинарного
> пакета (поле Name: из него)>
> Пример:
> PACKAGE sisyphus nexuiz i586 nexuiz-client-sdl
> PACKAGE sisyphus nexuiz i586 nexuiz-client-glx
> PACKAGE sisyphus nexuiz i586 nexuiz-client-common
> PACKAGE sisyphus nexuiz i586 nexuiz-server
>
> 4) изменение ACL:
> ACL <branch> <package name> (ADD|DELETE) login
> Пример:
> ACL sisyphus nexuiz ADD icesik
>
> Это черновик того что охота (скорее я всё таки что-то забыл). Ну как?
> Изменения в prometheus2.0 для поддержки такого я готов написать.
> Осталось найти того кто напишет такое для girar.
>
> Предлагаю обсудить это всё.
>
> --
> Igor Zubkov
> http://hi.im/ice
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Michael Shigorin]

On Tue, Dec 15, 2009 at 01:11:50PM +0300, Stanislav Ievlev wrote:
> Наверное лучше всего если бы сборочная (и не только)
> инфраструктура предоставляла бы хуки, которыми мог бы
> пользоваться и prometeus и другие средства, например gitorius.
> В этом случае можно было бы не использовать никаких
> промежуточных форматов, а писать изменения прямо в базу, если
> это требуется.

Ну если так, то для prometeus было бы крайне полезно иметь доступ
к ещё не уничтоженному %buildroot, чтоб не потрошить пакет самому.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 783 bytes --]

On Tue, Dec 15, 2009 at 01:00:42PM +0200, Michael Shigorin wrote:
> On Tue, Dec 15, 2009 at 01:11:50PM +0300, Stanislav Ievlev wrote:
> > Наверное лучше всего если бы сборочная (и не только)
> > инфраструктура предоставляла бы хуки, которыми мог бы
> > пользоваться и prometeus и другие средства, например gitorius.
> > В этом случае можно было бы не использовать никаких
> > промежуточных форматов, а писать изменения прямо в базу, если
> > это требуется.
> 
> Ну если так, то для prometeus было бы крайне полезно иметь доступ
> к ещё не уничтоженному %buildroot, чтоб не потрошить пакет самому.

%buildroot should contain no useful information except post mortem
analysis.  Anyway, there are no space to keep these data for each subtask
of every task.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Michael Shigorin]

On Tue, Dec 15, 2009 at 02:04:28PM +0300, Dmitry V. Levin wrote:
> > Ну если так, то для prometeus было бы крайне полезно иметь доступ
> > к ещё не уничтоженному %buildroot, чтоб не потрошить пакет самому.
> %buildroot should contain no useful information except post
> mortem analysis.  Anyway, there are no space to keep these data
> for each subtask of every task.

Речь не про each/every, хотя если подумать -- то учёт
незапакованных файлов при такой реализации, да и куча
других усложнений и взаимозавязочек -- слишком сложно.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] следующий шаг интеграции prometheus2.0 и альтовой инфраструктуры

[Igor Zubkov]

15 декабря 2009 г. 13:00 пользователь Michael Shigorin написал:
> On Tue, Dec 15, 2009 at 01:11:50PM +0300, Stanislav Ievlev wrote:
>> Наверное лучше всего если бы сборочная (и не только)
>> инфраструктура предоставляла бы хуки, которыми мог бы
>> пользоваться и prometeus и другие средства, например gitorius.
>> В этом случае можно было бы не использовать никаких
>> промежуточных форматов, а писать изменения прямо в базу, если
>> это требуется.
>
> Ну если так, то для prometeus было бы крайне полезно иметь доступ
> к ещё не уничтоженному %buildroot, чтоб не потрошить пакет самому.

Внутри %buildroot нет ничего интересного. И даже доступный %buildroot
никак не ускорит процесс потрошения rpm'ок. :)

-- 
Igor Zubkov
http://hi.im/ice