[devel] Персональная собиралка Сизифа

[devel] Персональная собиралка Сизифа

[Wartan Hachaturow]

Привет.

Народ, никто не делал для себя персональной собиралки Сизифа из исходников?
На beehive я посмотрел, мне надо несколько не то.

Что-нибудь вроде "собираем подряд из свалки с src.rpm'ками, проверяя,
нет ли в локальных гитах каких-нибудь отличий в версиях, и если есть,
собираем из гитов, аккуратно ведя про всё соответствующие логи".
Параллельная сборка желательна, но не критична.
Сделать это несложно, но просто вдруг уже есть, чтобы я велосипед не изобретал.

P.S. Кстати, hasher на power'е у меня уже работает, так что если
кому-то хочется поиграть -- пишите.

-- 
Regards, Wartan.

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Wartan Hachaturow wrote:
> Сделать это несложно, но просто вдруг уже есть, чтобы я велосипед не изобретал.

Раз это не сложно, то расскажи как узнать из какого git репозитория 
собирасется пакет FooBar, при условии что из одного репозитория может 
собираться не один пакет и то что имена пакетов и репозиториев не 
всегда совпадают. Меня интересует альгритм поиска соотвествия. Я 
такого альгоритма придумать не могу.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Wartan Hachaturow]

2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
>  Раз это не сложно, то расскажи как узнать из какого git репозитория
> собирасется пакет FooBar, при условии что из одного репозитория может
> собираться не один пакет и то что имена пакетов и репозиториев не всегда
> совпадают. Меня интересует альгритм поиска соотвествия. Я такого альгоритма
> придумать не могу.

У вас в rpm-мире вообще никогда ничего нельзя понять точно -- даже то,
где кончается имя пакета и начинается версия по имени файла ;) Это я
уже осознал.

Поскольку в данном случае речь идёт только об src.rpm'ах, то
однозначное отображение между репозиторием и src.rpm установить можно,
я полагаю.

Когда речь идёт о бинарных пакетах, то всё плохо, да. В нормальных
дистрибутивах (читай: в Debian) информация о том, из какого
source-пакета происходит данный бинарный, лежит прямо в apt'овой базе.
Все остальные сосредоточенно ходят по граблям ;)

-- 
Regards, Wartan.

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1112 bytes --]

On Wed, May 07, 2008 at 02:40:16AM +0400, Wartan Hachaturow wrote:
> 2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
> >  Раз это не сложно, то расскажи как узнать из какого git репозитория
> > собирасется пакет FooBar, при условии что из одного репозитория может
> > собираться не один пакет и то что имена пакетов и репозиториев не всегда
> > совпадают. Меня интересует альгритм поиска соотвествия. Я такого альгоритма
> > придумать не могу.
> 
> У вас в rpm-мире вообще никогда ничего нельзя понять точно -- даже то,
> где кончается имя пакета и начинается версия по имени файла ;) Это я
> уже осознал.

В версии, релизе и архитектуре пакета не может быть дефисов, так что, если
имя файла пакета каноническое (не было переименовано для запутывания
следов), то имя, версию, релиз и архиткутуру пакета можно идентифицировать
однозначно по имени файла пакета.

> Поскольку в данном случае речь идёт только об src.rpm'ах, то
> однозначное отображение между репозиторием и src.rpm установить можно,
> я полагаю.

В 90% случаев (число взято с потолка, но ситуацию отражает) можно.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Evgeny Sinelnikov]

2008/5/7 Dmitry V. Levin <ldv@altlinux.org>:
> On Wed, May 07, 2008 at 02:40:16AM +0400, Wartan Hachaturow wrote:
>  > 2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
>  > >  Раз это не сложно, то расскажи как узнать из какого git репозитория
>  > > собирасется пакет FooBar, при условии что из одного репозитория может
>  > > собираться не один пакет и то что имена пакетов и репозиториев не всегда
>  > > совпадают. Меня интересует альгритм поиска соотвествия. Я такого альгоритма
>  > > придумать не могу.
>  >

Я сейчас как раз нахожусь на стадии формализации процесса сборки
пакетов. При этом я ввёл ряд ограничений... Прежде всего это относится
к переходу от использования src.rpm-пакетов, в качестве первичного
источника, к gear-репозиториям. Благо git.alt/archive делается путём
gear-srpmimport... Собиралка предполагает использовать gear --hasher
для замыкания сборочной среды, на выбранном репозитории. Особенность
gear по собрке src.rpm-пакета в chroot'е является здесь существенным
моментом, хотя это и приводит в к тому, BuildRequires(pre) начинает
требоваться то там, то тут...

Суть собиралки вобщем-то проста... укзаывается соотвествие между
пакетами и именами майнтейнеров, после чего некий скрипт выполняет
вытягивание, на основании этих правил, заданной ветки из
соотвествующих репозиториев и выполняет сборку...

Скрипт называется autobuilder и пока далёк от совершенство, к
сожалению он настолько сырой, что использовать его пока можно только
для ифксированного набора задач... Проблема ткже состоит в том, что
многие пакеты не содержат правильных зависимостей BuildRequires(pre),
которые могут потребоваться не только для вычисления nvr,

В этом плане меня интересует вопрос, существуют ли средства для
вычисления порядка сборки пакетов, если необходимо собрать несколько
взаимозависимых пакета? Как при этом принято поступать?

Кстати, наткнулся на то, что в kdelibs есть race на уровне генерации
заголовочных файлов и, в стандартной схеме сборки на много
процессорной или многоядерной машине, этот пакет может собираться
"иногда"...

>  > У вас в rpm-мире вообще никогда ничего нельзя понять точно -- даже то,
>  > где кончается имя пакета и начинается версия по имени файла ;) Это я
>  > уже осознал.
>
>  В версии, релизе и архитектуре пакета не может быть дефисов, так что, если
>  имя файла пакета каноническое (не было переименовано для запутывания
>  следов), то имя, версию, релиз и архиткутуру пакета можно идентифицировать
>  однозначно по имени файла пакета.
>

Для этого можно относительно легко воспользоваться python-modules-rpm,
который умеет парсить заголовки пакетов.

>
>  > Поскольку в данном случае речь идёт только об src.rpm'ах, то
>  > однозначное отображение между репозиторием и src.rpm установить можно,
>  > я полагаю.
>
>  В 90% случаев (число взято с потолка, но ситуацию отражает) можно.
>
>
>  --
>  ldv
>
> _______________________________________________
>  Devel mailing list
>  Devel@lists.altlinux.org
>  https://lists.altlinux.org/mailman/listinfo/devel
>



-- 
Sin (Sinelnikov Evgeny)

Re: [devel] Персональная собиралка Сизифа

[Evgeny Sinelnikov]

2008/5/7 Dmitry V. Levin <ldv@altlinux.org>:
> On Wed, May 07, 2008 at 02:40:16AM +0400, Wartan Hachaturow wrote:
>  > 2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
>  > >  Раз это не сложно, то расскажи как узнать из какого git репозитория
>  > > собирасется пакет FooBar, при условии что из одного репозитория может
>  > > собираться не один пакет и то что имена пакетов и репозиториев не всегда
>  > > совпадают. Меня интересует альгритм поиска соотвествия. Я такого альгоритма
>  > > придумать не могу.
>  >

Я сейчас как раз нахожусь на стадии формализации процесса сборки
пакетов. При этом я ввёл ряд ограничений... Прежде всего это относится
к переходу от использования src.rpm-пакетов, в качестве первичного
источника, к gear-репозиториям. То есть сборка свалки из
src.rpm-пакетов сводится к предварительному импортированию этих
пакетов в git. Благо git.alt/archive делается путём gear-srpmimport...
При этом отпадает необходимость в излишней эвристике. Насчёт git
задано одно ограничение - сборка учитывает не теги, а выбранную
ветку... её обновление - означает необходимость пересобрать пакет.

Собиралка предполагает использовать gear --hasher для замыкания
сборочной среды, на выбранном репозитории. Особенность gear по сборке
src.rpm-пакета в chroot'е является здесь существенным моментом, хотя
это и приводит в к тому, что BuildRequires(pre) начинает требоваться
то там, то тут...

Суть собиралки вобщем-то проста... указывается соотвествие между
пакетами и именами мэйнтейнеров, после чего некий скрипт выполняет
вытягивание, на основании этих правил, заданной ветки из
соотвествующих репозиториев и выполняет сборку... После сборки
запоминается коммит, чтобы не выполнять в следующий раз повторную
сборку.

Для бинарных пакетов предполагается, что результат сборки является не
только функцией исходного пакета, но и того набора бинарных пакетов,
на котором собирается исходный. Поэтому при сборке всегда добавляется
номер сборки %release.bld1, %release.bld2, ... Это унифицирует процесс
пересборки...

В общем пока это только стадия формализации процесса сборки пакетов,
которая доведена, до необходимого минимума.

Скрипт называется autobuilder:
http://git.etersoft.ru/people/sin/packages/geet-autobuilder.git
Но он пока далёк от совершенства... К сожалению он настолько сырой,
что использовать его пока можно только для фиксированного набора
задач... Проблема также состоит в том, что многие пакеты не содержат
правильных зависимостей BuildRequires(pre), которые могут
потребоваться не только для вычисления nvr, но и, например, для
раскрытия макросов вида %get_version, указанных в зависимостях.

В этом плане меня интересует вопрос, существуют ли средства для
вычисления порядка сборки пакетов, если необходимо собрать несколько
взаимозависимых пакета? Как при этом принято поступать?

Кстати, наткнулся на то, что в kdelibs есть race на уровне генерации
заголовочных файлов и, в стандартной схеме сборки на многопроцессорной
или многоядерной машине. Поэтому этот пакет может собираться
"иногда"...

>  > У вас в rpm-мире вообще никогда ничего нельзя понять точно -- даже то,
>  > где кончается имя пакета и начинается версия по имени файла ;) Это я
>  > уже осознал.
>
>  В версии, релизе и архитектуре пакета не может быть дефисов, так что, если
>  имя файла пакета каноническое (не было переименовано для запутывания
>  следов), то имя, версию, релиз и архиткутуру пакета можно идентифицировать
>  однозначно по имени файла пакета.
>

Для этого можно, например, относительно легко воспользоваться
python-modules-rpm, который умеет парсить заголовки пакетов.

>
>  > Поскольку в данном случае речь идёт только об src.rpm'ах, то
>  > однозначное отображение между репозиторием и src.rpm установить можно,
>  > я полагаю.
>
>  В 90% случаев (число взято с потолка, но ситуацию отражает) можно.
>

-- 
Sin (Sinelnikov Evgeny)

Re: [devel] Персональная собиралка Сизифа

[Michael Shigorin]

On Wed, May 07, 2008 at 02:31:58AM +0400, Alexey Gladkov wrote:
> >Сделать это несложно, но просто вдруг уже есть, чтобы я
> >велосипед не изобретал.
> Раз это не сложно, то расскажи как узнать из какого git
> репозитория собирасется пакет FooBar, при условии что из одного
> репозитория может собираться не один пакет и то что имена
> пакетов и репозиториев не всегда совпадают.

Можно ввести и такое ограничение -- смысл-то стрелять себе
в ногу? (ммм... хотя "+" бывает в имени пакетов, но gear на 
репозиториях с таким названием обижается)

> альгоритма

...мягкий арабский акцент... ;)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Персональная собиралка Сизифа

[Kirill A. Shutemov]

[-- Attachment #1: Type: text/plain, Size: 1020 bytes --]

On Wed, May 07, 2008 at 02:31:58AM +0400, Alexey Gladkov wrote:
> Wartan Hachaturow wrote:
>> Сделать это несложно, но просто вдруг уже есть, чтобы я велосипед не изобретал.
> 
> Раз это не сложно, то расскажи как узнать 
> из какого git репозитория собирасется 
> пакет FooBar, при условии что из одного 
> репозитория может собираться не один 
> пакет и то что имена пакетов и 
> репозиториев не всегда совпадают. Меня 
> интересует альгритм поиска соотвествия. 
> Я такого альгоритма придумать не могу.

По тэгу, если он создаётся gear-create-tag не получится?

-- 
Regards,  Kirill A. Shutemov
 + Belarus, Minsk
 + ALT Linux Team, http://www.altlinux.com/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Wartan Hachaturow wrote:
> Поскольку в данном случае речь идёт только об src.rpm'ах, то
> однозначное отображение между репозиторием и src.rpm установить можно,
> я полагаю.

В общем случае такого соответствия нет. Более того попробуй для 
примера поискать spt:

$ ssh git.alt find-package spt
/people/boyarsh/packages/spt.git
/people/lakostis/packages/spt.git
/people/ldv/packages/spt.git
/people/legion/packages/spt.git
/people/mike/packages/spt.git
/people/raorn/packages/spt.git
/people/rider/packages/spt.git
/people/sbolshakov/packages/spt.git
/people/stanv/packages/spt.git

И какой последний?

> Когда речь идёт о бинарных пакетах, то всё плохо, да. В нормальных
> дистрибутивах (читай: в Debian) информация о том, из какого
> source-пакета происходит данный бинарный, лежит прямо в apt'овой базе.

У нас это тоже там есть. Более того посмотри в 
Sisyphus/files/lists/list.<arch>.classic .

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Michael Shigorin wrote:
> ...мягкий арабский акцент... ;)

Ночное время и некоторое переутомление :)

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Kirill A. Shutemov wrote:
> По тэгу, если он создаётся gear-create-tag не получится?

Можно, но нужно знать в каком репозитории искать этот тэг.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 493 bytes --]

Alexey Gladkov пишет:
> Kirill A. Shutemov wrote:
>> По тэгу, если он создаётся gear-create-tag не получится?
> 
> Можно, но нужно знать в каком репозитории искать этот тэг.

Извините, что влезаю, но ведь у тега есть дата и подпись? И где-то
было соответствие, какие мантейнеры могут выкладывать пакет. Для
всех тегов, которые подписаны разрешёнными мантейнерами, можно
сделать сортировку по дате.

-- 
Regards, Vyt
mailto:  vyt@altlinux.org
JID:     vitaly.ostanin@gmail.com


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [devel] как найти актуальный gear-репозиторий пакета

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1446 bytes --]

On Wed, May 07, 2008 at 12:17:42PM +0400, Alexey Gladkov wrote:
> Wartan Hachaturow wrote:
> >Поскольку в данном случае речь идёт только об src.rpm'ах, то
> >однозначное отображение между репозиторием и src.rpm установить можно,
> >я полагаю.
> 
> В общем случае такого соответствия нет. Более того попробуй для 
> примера поискать spt:
> 
> $ ssh git.alt find-package spt
> /people/boyarsh/packages/spt.git
> /people/lakostis/packages/spt.git
> /people/ldv/packages/spt.git
> /people/legion/packages/spt.git
> /people/mike/packages/spt.git
> /people/raorn/packages/spt.git
> /people/rider/packages/spt.git
> /people/sbolshakov/packages/spt.git
> /people/stanv/packages/spt.git
> 
> И какой последний?

Я сейчас в таких случаях использую
$ lftp -c 'get http://git.altlinux.org/people-packages-list -o /dev/stdout' |fgrep '/packages/spt.git' |sort -rn -k2,2
/people/mike/packages/spt.git   1207759786
/people/sbolshakov/packages/spt.git     1207758423
/people/lakostis/packages/spt.git       1193175636
/people/ldv/packages/spt.git    1190245791
/people/boyarsh/packages/spt.git        1184325351
/people/stanv/packages/spt.git  1181146251
/people/legion/packages/spt.git 1177502497
/people/rider/packages/spt.git  1159782870
/people/raorn/packages/spt.git  1158590576

Отсюда уже видно, что самый свежий коммит у mike@, ещё можно проверить
репозиторий у sbolshakov@, остальные можно не смотреть.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 545 bytes --]

On Wed, May 07, 2008 at 12:21:02PM +0400, Alexey Gladkov wrote:
> Kirill A. Shutemov wrote:
> >По тэгу, если он создаётся gear-create-tag не получится?
> 
> Можно, но нужно знать в каком репозитории искать этот тэг.

Была, обсуждалась и даже тестировалась идея зашивать git url и commit id
в пакеты во время сборки из gear:
Summary(x-git-commit-id): deadbeefdeadc0decafef00dbadc0ded

Причём зашивать commit id можно было бы, не дожидась введения в строй
нашего долгостроя (сборка пакетов в Сизиф из gear-репозиториев).


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] как найти актуальный gear-репозиторий пакета

[Alexey Gladkov]

Dmitry V. Levin wrote:
> Отсюда уже видно, что самый свежий коммит у mike@, ещё можно проверить
> репозиторий у sbolshakov@, остальные можно не смотреть.

А ведь я спрашивал какой последний, а не свежий :) Это не одно и тоже.
Я прямо сейчас могу сделать чтобы у меня был самый свежий spt, но он 
не будет самым последним.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Vitaly Ostanin wrote:
> Извините, что влезаю, но ведь у тега есть дата и подпись? И где-то
> было соответствие, какие мантейнеры могут выкладывать пакет. Для
> всех тегов, которые подписаны разрешёнными мантейнерами, можно
> сделать сортировку по дате.

Ты не понимаешь, речь о том в каком git репозитории на git.alt искать 
пакет. Не у какого мантейнера, а _в_каком_репозитории_. Репозиторий на 
git.alt в силу разных причин может называться совсем не так как 
исходный пакет. И это правильно.

Когда я участвовал в разработке новой билд системы мы разделяли 
репозитории в git.alt и репозитории из которых собраны пакеты в сизиф. 
Один ведут люди (и делают это как им удобно), второй ведут роботы при 
публикации пакета. В этом случае проблем не было. К чему сейчас пришли 
разработчики билд системы я не знаю.

-- 
Rgrds, legion

Re: [devel] как найти актуальный gear-репозиторий пакета

[Denis Medvedev]

-----Original Message-----
From: Alexey Gladkov <legion@altlinux.ru>
To: ALT Linux Team development discussions <devel@lists.altlinux.org>
Date: Wed, 07 May 2008 12:48:54 +0400
Subject: Re: [devel] как найти актуальный gear-репозиторий пакета

> Dmitry V. Levin wrote:
> > Отсюда уже видно, что самый свежий коммит у mike@, ещё можно проверить
> > репозиторий у sbolshakov@, остальные можно не смотреть.
> 
> А ведь я спрашивал какой последний, а не свежий :) Это не одно и тоже.
> Я прямо сейчас могу сделать чтобы у меня был самый свежий spt, но он 
> не будет самым последним.
> 
Именно. А так же есть разные по уровню владельцы репозиториев git - одни делали мелкие патчи для своих нужд, а другие полностью разбираются в пакете и возможно даже писали его с нуля. Свежие правки могут быть и у первых, и последние тоже. Лучше брать у гуру, но непонятно, как их выделить.
 

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1069 bytes --]

On Wed, May 07, 2008 at 12:58:15PM +0400, Alexey Gladkov wrote:
> Vitaly Ostanin wrote:
> >Извините, что влезаю, но ведь у тега есть дата и подпись? И где-то
> >было соответствие, какие мантейнеры могут выкладывать пакет. Для
> >всех тегов, которые подписаны разрешёнными мантейнерами, можно
> >сделать сортировку по дате.
> 
> Ты не понимаешь, речь о том в каком git репозитории на git.alt искать 
> пакет. Не у какого мантейнера, а _в_каком_репозитории_. Репозиторий на 
> git.alt в силу разных причин может называться совсем не так как 
> исходный пакет. И это правильно.
> 
> Когда я участвовал в разработке новой билд системы мы разделяли 
> репозитории в git.alt и репозитории из которых собраны пакеты в сизиф. 
> Один ведут люди (и делают это как им удобно), второй ведут роботы при 
> публикации пакета. В этом случае проблем не было.

Я тоже считаю, что эта идея вполне логичная и жизнеспособная.

> К чему сейчас пришли разработчики билд системы я не знаю.

Это ты о ком?  Сейчас разработчиков билд системы просто нет. :)


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Dmitry V. Levin wrote:
>> К чему сейчас пришли разработчики билд системы я не знаю.
> Это ты о ком?  Сейчас разработчиков билд системы просто нет. :)

Ну мало ли ... кто же вас там знает, может за столько времени всё 
сильно изменилось. :)

Так может ты прочитаешь моё письмо на эту тему и что-нибудь на него 
ответишь? :)
Может тогда ситуация изменится.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Wartan Hachaturow]

2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
> Wartan Hachaturow wrote:
>
> > Поскольку в данном случае речь идёт только об src.rpm'ах, то
> > однозначное отображение между репозиторием и src.rpm установить можно,
> > я полагаю.
> >
>
>  В общем случае такого соответствия нет. Более того попробуй для примера
> поискать spt:

Я не зря сказал "персональная собиралка" :)
Это означает, что git'ы есть только мои личные.
Вопрос официальной билд-системы из гитов важный и интересный, но в
данном случае out of scope.

>  У нас это тоже там есть. Более того посмотри в
> Sisyphus/files/lists/list.<arch>.classic .

Да ну?
[wart@crow ~]$ apt-cache showsrc vim
[wart@crow ~]$

В отличие от.

-- 
Regards, Wartan.

Re: [devel] как найти актуальный gear-репозиторий пакета

[Wartan Hachaturow]

2008/5/7 Dmitry V. Levin <ldv@altlinux.org>:

>  Я сейчас в таких случаях использую
>  $ lftp -c 'get http://git.altlinux.org/people-packages-list -o /dev/stdout' |fgrep '/packages/spt.git' |sort -rn -k2,2

Проблема мне кажется надуманной.
У пакета есть maintainer, и его git -- "официальный".
Оттуда берутся пакеты, которые будут в архиве.
Всё остальное -- персональные дела тех, кто хочет чего-нибудь поделать
с пакетом в собственном git'е, и смотреть туда при сборке не надо,
пусть там хоть пять версий вперёд.

-- 
Regards, Wartan.

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Wartan Hachaturow wrote:
> Я не зря сказал "персональная собиралка" :)

Ты сказал beehive, а это не "персональная собиралка" :)

> Да ну?
> [wart@crow ~]$ apt-cache showsrc vim
> [wart@crow ~]$

Значит я успел-таки убить эту информацию :)

> В отличие от.

Ну есть листы. :)

-- 
Rgrds, legion

Re: [devel] как найти актуальный gear-репозиторий пакета

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 790 bytes --]

On Wed, May 07, 2008 at 01:53:15PM +0400, Wartan Hachaturow wrote:
> 2008/5/7 Dmitry V. Levin <ldv@altlinux.org>:
> 
> >  Я сейчас в таких случаях использую
> >  $ lftp -c 'get http://git.altlinux.org/people-packages-list -o /dev/stdout' |fgrep '/packages/spt.git' |sort -rn -k2,2
> 
> Проблема мне кажется надуманной.
> У пакета есть maintainer, и его git -- "официальный".
> Оттуда берутся пакеты, которые будут в архиве.

У пакета есть группа мантейнеров, и официальность может быть размазана по
нескольким репозиториям.

> Всё остальное -- персональные дела тех, кто хочет чего-нибудь поделать
> с пакетом в собственном git'е, и смотреть туда при сборке не надо,
> пусть там хоть пять версий вперёд.

Смотря насколько формализован алгоритм "при сборке".


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] как найти актуальный gear-репозиторий пакета

[Alexey Gladkov]

Wartan Hachaturow wrote:
> Проблема мне кажется надуманной.
> У пакета есть maintainer, и его git -- "официальный".

Найди репозиторий пакета firefox. :)

Если есть один такой репозиторий, то нет гарантии что нет ещё таких же.

-- 
Rgrds, legion

Re: [devel] как найти актуальный gear-репозиторий пакета

[Wartan Hachaturow]

2008/5/7 Dmitry V. Levin <ldv@altlinux.org>:
>  > Проблема мне кажется надуманной.
>  > У пакета есть maintainer, и его git -- "официальный".
>  > Оттуда берутся пакеты, которые будут в архиве.
>
>  У пакета есть группа мантейнеров, и официальность может быть размазана по
>  нескольким репозиториям.

Тогда пусть кто-то один из них ("package release master" :) пуллит к
себе от других в *один* репозиторий, из которого будут собираться
пакеты в архив. И снова собиралка будет знать только про *один*.

-- 
Regards, Wartan.

Re: [devel] как найти актуальный gear-репозиторий пакета

[Wartan Hachaturow]

2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
> Wartan Hachaturow wrote:
>
> > Проблема мне кажется надуманной.
> > У пакета есть maintainer, и его git -- "официальный".
> >
>
>  Найди репозиторий пакета firefox. :)
>  Если есть один такой репозиторий, то нет гарантии что нет ещё таких же.

Ты не понимаешь. У вас странный подход -- вы, планируя собиралку
дистрибутива, воспринимаете git.altlinux.org как что-то внешнее по
отношению к себе, где безраздельно рулят maintainer'ы, а вы только
пытаетесь как-то в этом разобраться.

Формализуем процесс, закрепляем соответствие
пакет-репозиторий-maintainer и вперёд.
Остальные гиты остаются для разработки, самолюбования и ещё там чего.

-- 
Regards, Wartan.

Re: [devel] как найти актуальный gear-репозиторий пакета

[Alexey Gladkov]

Wartan Hachaturow wrote:
> Ты не понимаешь. У вас странный подход -- вы, планируя собиралку
> дистрибутива, воспринимаете git.altlinux.org как что-то внешнее по
> отношению к себе, где безраздельно рулят maintainer'ы, а вы только
> пытаетесь как-то в этом разобраться.

Я как раз понимаю. git.alt был сделан как инструмент совместной 
разработки, а не публикации. Это разные системы и смешивать их не нужно.

> Формализуем процесс, закрепляем соответствие
> пакет-репозиторий-maintainer и вперёд.

Ты нашёл репозиторий firefox? Если да, то ты понимаешь почему он 
такой? Я не смогу пользоваться git.alt для этого пакета с предлагаемым 
тобой соответствием. В git.alt таких ограничений быть не должно.

> Остальные гиты остаются для разработки, самолюбования и ещё там чего.

Ты предлагаешь почти тоже что и планировалось раньше. Только 
пакет-репозиторий делала билд система. Она же контролировала этот 
репозиторий и сериализовала запросы на публикацию от членов одной 
группы мантейнеров.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Kirill A. Shutemov]

[-- Attachment #1: Type: text/plain, Size: 707 bytes --]

On Wed, May 07, 2008 at 12:21:02PM +0400, Alexey Gladkov wrote:
> Kirill A. Shutemov wrote:
>> По тэгу, если он создаётся gear-create-tag не получится?
> 
> Можно, но нужно знать в каком репозитории искать этот тэг.

Если я правильно понимаю, в hooks/post-update в girar можно засунуть
создание индекса вида
<name> <serial-version-release> <gitrepo>
предварительно проверив подпись тэга и корректность версии.

-- 
Regards,  Kirill A. Shutemov
 + Belarus, Minsk
 + ALT Linux Team, http://www.altlinux.com/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Kirill A. Shutemov wrote:
> Если я правильно понимаю, в hooks/post-update в girar можно засунуть
> создание индекса вида
> <name> <serial-version-release> <gitrepo>
> предварительно проверив подпись тэга и корректность версии.

Если есть тэг специального вида (а он есть), то такой индекс _стоит_ 
делать.

2ldv: Дим ты не против?

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Evgeny Sinelnikov]

2008/5/7 Alexey Gladkov <legion@altlinux.ru>:
> Wartan Hachaturow wrote:
>
> > Я не зря сказал "персональная собиралка" :)
> >
>

geet-autobuilder, в таком случае, можно рассматривать как инструмент
для персональной сборки.
По умолчанию он использует следующий конфиг:
/etc/geet/config
gitsrv_dir   = $GEET_CONFIG/servers
flavours_dir = $GEET_CONFIG/flavours
target       = i586
flavour      = sisyphus

builddir     = $TMPDIR/geet-tmp-build

bin          = $GEET_HOME/repo/RPMS
src          = $GEET_HOME/repo/SRPMS
info_dir     = $GEET_HOME/info
archive      = $GEET_HOME/archive

hasher       = $HOME/hasher-SS
aptconf      = /etc/apt/apt.conf.SS
repo         = /var/ftp/pub/Repository

В /etc/geet/servers лежат файлы по именам хостов, понимаемых ssh, и
каталоги с именами протоколов, в которых аналогично лежат файлы по
именам хостов. Таким образом, если в .ssh/config прописан git.alt,
файл  /etc/geet/servers/git.alt может выглядеть так:
#PACKAGE USER BRANCH
ponyprog2000 sin master
installer ldv master
Первое слово определяет пакет, второе - разработчика, третье - имя
ветки, по умолчанию rc - git.alt:/people/USER/packages/PACKAGE.git
+BRANCH:rc
Для работы по http можно аналогично создать файл -
/etc/geet/servers/http/git.altlinux.org
Файл ~/.geet может использоваться для переопределения стандартных настроек.

Порядок работы такой:
1) репозитории вытягиваются командой:
git-fetch git.alt:/people/USER/packages/PACKAGE.git +BRANCH:rc
или
git-fetch http://git.altlinux.org/people/USER/packages/PACKAGE.git +BRANCH:rc
2) затем проверяется коммит, если ранее он не собирался, то
проводиться попытка сборки... В случае удачи пакеты hasher складывает
в bin (по умолчанию равен $GEET_HOME/repo/RPMS) и src (по умолчанию
равен $GEET_HOME/repo/SRPMS). В файле info_dir/PACKAGE/version
указывается коммит сборки. В случае не удачной сборки коммит
записывается в файл info_dir/PACKAGE/fail.
3) после удачной сборки пакеты сортируются в каталогах
repo/SRPMS.flavour, repo/arch/RPMS.flavour
Для повторной пересборки в каталоге info_dir/PACKAGE необходимо
создать файл rebuild

Текущие проблемы:
1) Нужно сделать нормальное сохранение лога сборки
2) Нужно отладить нормальный выход по CTRL+C и по другим сигналам
3) Нужно корреткно отслеживать пересборку - сейчас, в случае неудачной
пересборки rebuild не удаляется
4) В идеале брать информацию путём rpmquery к SPEC-файлу нужно, как и
в gear, перенести в chroot

В целом, как персональная собиралка, может уже и подойти....

-- 
Sin (Sinelnikov Evgeny)

Re: [devel] как найти актуальный gear-репозиторий пакета

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 894 bytes --]

On Wed, May 07, 2008 at 02:10:45PM +0400, Wartan Hachaturow wrote:
> 2008/5/7 Dmitry V. Levin <ldv@altlinux.org>:
> >  > Проблема мне кажется надуманной.
> >  > У пакета есть maintainer, и его git -- "официальный".
> >  > Оттуда берутся пакеты, которые будут в архиве.
> >
> >  У пакета есть группа мантейнеров, и официальность может быть размазана по
> >  нескольким репозиториям.
> 
> Тогда пусть кто-то один из них ("package release master" :) пуллит к
> себе от других в *один* репозиторий, из которого будут собираться
> пакеты в архив.

Обычно так и бывает, с поправкой, что эта роль время от времени кочует от
одного к другому.

> И снова собиралка будет знать только про *один*.

Для сторонней собиралки достаточно знать про каждый пакет, из какого
репозитория можно собирать самый свежий релиз пакета
(и как этот релиз там найти, напр. имя коммита).


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 417 bytes --]

On Wed, May 07, 2008 at 02:33:25PM +0400, Alexey Gladkov wrote:
> Kirill A. Shutemov wrote:
> >Если я правильно понимаю, в hooks/post-update в girar можно засунуть
> >создание индекса вида
> ><name> <serial-version-release> <gitrepo>
> >предварительно проверив подпись тэга и корректность версии.
> 
> Если есть тэг специального вида (а он есть), то такой индекс _стоит_ 
> делать.

А зачем?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Dmitry V. Levin wrote:
> А зачем?

Чтобы на данном этапе развития иметь возможность видеть из какого (и 
чьего) репозитория собран пакет. Это позволит выделить из множества 
репозиториев те из которых собираются пакеты + установить из каких 
репозиториев какие пакеты собираются.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 475 bytes --]

On Wed, May 07, 2008 at 02:47:31PM +0400, Alexey Gladkov wrote:
> Dmitry V. Levin wrote:
> >А зачем?
> 
> Чтобы на данном этапе развития иметь возможность видеть из какого (и 
> чьего) репозитория собран пакет. Это позволит выделить из множества 
> репозиториев те из которых собираются пакеты + установить из каких 
> репозиториев какие пакеты собираются.

Как это может помочь?
Насколько специальным должно быть имя тэга, чтобы это могло работать?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Dmitry V. Levin wrote:
> Как это может помочь?

Это поможет искать репозитории из которых вероятнее всего что-то 
собрано (без сборочной системы по другому не скажешь).

> Насколько специальным должно быть имя тэга, чтобы это могло работать?

У нас же есть релиз тег специального вида. Его можно достаточно просто 
найти.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 633 bytes --]

On Wed, May 07, 2008 at 02:58:44PM +0400, Alexey Gladkov wrote:
> Dmitry V. Levin wrote:
> >Как это может помочь?
> 
> Это поможет искать репозитории из которых вероятнее всего что-то 
> собрано (без сборочной системы по другому не скажешь).

Система костылей и подпорок не заменит сборочную систему.

> >Насколько специальным должно быть имя тэга, чтобы это могло работать?
> 
> У нас же есть релиз тег специального вида. Его можно достаточно просто 
> найти.

У нас специальный вид регулируется.  В репозиториях, из которых собирается
более одного пакета (напр. ядра), этот вид ещё более специальный.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey Gladkov]

Dmitry V. Levin wrote:
> Система костылей и подпорок не заменит сборочную систему.

Согласен, это полумера.

-- 
Rgrds, legion

Re: [devel] Персональная собиралка Сизифа

[Alexey Voinov]

[-- Attachment #1: Type: Text/Plain, Size: 1522 bytes --]

From: Alexey Gladkov <legion@mozilla-russia.org>
Subject: Re: [devel] Персональная собиралка Сизифа
Date: Wed, 07 May 2008 12:21:02 +0400

> Kirill A. Shutemov wrote:
> > По тэгу, если он создаётся gear-create-tag не получится?
> 
> Можно, но нужно знать в каком репозитории искать этот тэг.
Насколько мне известно, commit-id в git является
уникальным. Т.е. уникальным вообще, а не только в рамках одного
репозитория. Вероятность коллизии очень невысока. Я не вижу причин не
сделать на git.altlinux.ru командочки для поиска коммита на
сервере. Хотя бы даже и через locate. Оно всё равно проиндексирует.
Если коммит обнаруживается в двух или более репозитариях, то нам по
большому счёту пофиг из какого из них брать дерево исходников,
поскольку с достаточно высокой вероятностью это дерево будет одним и
тем же, а сам коммит - результатом клонирования или чего-нибудь в этом
роде. В чём я не прав?

-- 
Best Regards!
Alexey Voinov



[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1171 bytes --]

On Wed, May 07, 2008 at 08:42:39PM +0400, Alexey Voinov wrote:
> On Wed, May 07, 2008 at 12:21:02PM +0400, Alexey Gladkov wrote:
> > Kirill A. Shutemov wrote:
> > > По тэгу, если он создаётся gear-create-tag не получится?
> > 
> > Можно, но нужно знать в каком репозитории искать этот тэг.
> Насколько мне известно, commit-id в git является
> уникальным. Т.е. уникальным вообще, а не только в рамках одного
> репозитория. Вероятность коллизии очень невысока. Я не вижу причин не
> сделать на git.altlinux.ru командочки для поиска коммита на
> сервере. Хотя бы даже и через locate. Оно всё равно проиндексирует.
> Если коммит обнаруживается в двух или более репозитариях, то нам по
> большому счёту пофиг из какого из них брать дерево исходников,
> поскольку с достаточно высокой вероятностью это дерево будет одним и
> тем же, а сам коммит - результатом клонирования или чего-нибудь в этом
> роде. В чём я не прав?

Для того, чтобы искать commit id по всему серверу, нужно сперва все эти
commit id проиндексировать.  В некоторых проектах коммитов очень много,
имеет смысл ограничиться только теми, для которых сделаны какие-нибудь тэги.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 452 bytes --]

* Wartan Hachaturow <wartan.hachaturow@> [080507 13:55]:
> >  У нас это тоже там есть. Более того посмотри в
> > Sisyphus/files/lists/list.<arch>.classic .
> Да ну?
Ну да.

> [wart@crow ~]$ apt-cache showsrc vim
"Из какого исходного пакета собран пакет `vim'?"

> [wart@crow ~]$
"А хрен его знает..."

Видимо потому, что бинарного пакета vim в Sisyphus просто не
существует ;-)

> В отличие от.
Да ну? ;-)

-- 
Regards,
Sir Raorn.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 261 bytes --]

* Kirill A. Shutemov <kirill@> [080507 11:50]:
> По тэгу, если он создаётся gear-create-tag не получится?
У нас в rpm есть замечательные multilanguage теги Summary и
Description.  Туда можно затолкать и спрятать всё что угодно.

-- 
Regards,
Sir Raorn.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] [JT] /usr/bin/GET

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 485 bytes --]

On Sun, May 11, 2008 at 09:58:17PM +0300, Michael Shigorin wrote:
> Это же делает GET http://... из perl-libwww-perl, JFYI.
perl-libwww :)

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

> Надеюсь, что в ближайшее время появится web-интерфейс для более
> удобного управления hwdatabase и соответствующие тулзы,
> позволяющие пользователю сделать отчет об обнаруженном у него
> железе.
Да ну?!  Ещё скажи -- как часть HCL?
		-- mike in devel-kernel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

[devel] [JT] /usr/bin/GET

[Michael Shigorin]

On Wed, May 07, 2008 at 12:39:57PM +0400, Dmitry V. Levin wrote:
> Я сейчас в таких случаях использую
> $ lftp -c 'get http://git.altlinux.org/people-packages-list -o /dev/stdout'

Это же делает GET http://... из perl-libwww-perl, JFYI.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] [JT] /usr/bin/GET

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 470 bytes --]

On Sun, May 11, 2008 at 09:58:17PM +0300, Michael Shigorin wrote:
> On Wed, May 07, 2008 at 12:39:57PM +0400, Dmitry V. Levin wrote:
> > Я сейчас в таких случаях использую
> > $ lftp -c 'get http://git.altlinux.org/people-packages-list -o /dev/stdout'
> 
> Это же делает GET http://... из perl-libwww-perl, JFYI.

В GET нету deflate сжатия (а включать его не хочется по причине того, что
в HTTP/Message.pm:decoded_content() совмещены разжатие и перекодировка).

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 414 bytes --]

On Wed, May 07, 2008 at 12:44:22PM +0400, Dmitry V. Levin wrote:

DVL> Была, обсуждалась и даже тестировалась идея зашивать git url и commit id
DVL> в пакеты во время сборки из gear:
DVL> Summary(x-git-commit-id): deadbeefdeadc0decafef00dbadc0ded

А чем закончилась эта идея?

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 513 bytes --]

On Sat, Jan 23, 2010 at 04:12:04AM +0300, Денис Смирнов wrote:
> On Wed, May 07, 2008 at 12:44:22PM +0400, Dmitry V. Levin wrote:
> 
> DVL> Была, обсуждалась и даже тестировалась идея зашивать git url и commit id
> DVL> в пакеты во время сборки из gear:
> DVL> Summary(x-git-commit-id): deadbeefdeadc0decafef00dbadc0ded
> 
> А чем закончилась эта идея?

Когда jbj узнал про такую форму abuse, то реализовал в rpm5 поддержку
произвольных тэгов в спекфайлах.  А у нас ничего не изменилось.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 539 bytes --]

On Sat, Jan 23, 2010 at 12:59:04PM +0300, Dmitry V. Levin wrote:

DVL> Когда jbj узнал про такую форму abuse, то реализовал в rpm5 поддержку
DVL> произвольных тэгов в спекфайлах.  А у нас ничего не изменилось.

Грустно. А можно все-таки реализовать? Иметь возможность по пакету
(установленному или rpm'ке) четко и однозначно определить commit, из
которого он был собран -- мне, например, не хватает.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] Персональная собиралка Сизифа

[Sergei Epiphanov]

В сообщении от 24 января 2010 05:04:58 автор Денис Смирнов написал:
> Грустно. А можно все-таки реализовать? Иметь возможность по пакету
> (установленному или rpm'ке) четко и однозначно определить commit, из
> которого он был собран -- мне, например, не хватает.

Хм, тег-то известен (номер версии), попробуйте по тегу собирать или по нему 
определить коммит.

-- 
С уважением, Епифанов Сергей

Re: [devel] Персональная собиралка Сизифа

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 452 bytes --]

On Mon, Jan 25, 2010 at 09:40:51AM +0300, Sergei Epiphanov wrote:

SE> Хм, тег-то известен (номер версии), попробуйте по тегу собирать или по нему 
SE> определить коммит.

Если из одного репозитория собираются несколько пакетов (такое бывает), то
тэг уже будет содержать не только номер версии. Однозначности нет.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]