[devel] rpm-build для сборки пакетов

[devel] rpm-build для сборки пакетов

[Vitaly Lipatov]

Всем добрый день!

Как известно, для сборки rpm-пакетов нужна команда rpmbuild, находящаяся 
в пакете rpm-build. Так в прошлом веке придумали в RedHat. При этом 
пакет rpm-build у них вытягивает всё необходимое для сборки пакета (ну 
если посмотреть, что в зависимостях есть, например, patch и pkgconfig, 
то немного больше).

У нас же пакету rpm-build придана роль создателя базовой сборочной 
среды.
Причём базовая сборочная среда это не только gcc, autotools и make, это 
набор пакетов, который часто присутствует в сборочной среде:
«Плюс присутствия пакета в базовой сборочной среде один, но он большой:
поскольку образ базовой сборочной среды закэширован, установка пакета в 
составе базовой сборочной среды на порядки эффективнее как по времени, 
так и по сетевому трафику.»
https://bugzilla.altlinux.org/show_bug.cgi?id=34308#c13

Но среда для сборки rpm-пакета и сборочная среда это вещи несвязанные.

Сборочная среда нужна для тех команд, которые выполняются согласно спеку 
(обычно там configure && make, собирающий программу на C). У нас она 
формируется так: к базовой сборочной среде добавляются пакеты, указанные 
в BuildRequires.

А среды для сборки rpm-пакета по сути нет: это просто команда rpmbuild, 
которая умеет читать спек, раскрывать макросы, делить спек на части и 
выполнять их в шелле, класть получившиеся файлы в cpio и формировать 
файл в форме rpm.

Поскольку за 4 года мне не удалось пока найти понимания в предложении 
отделить формирование сборочной среды от пакета rpm-build, пока 
предлагаю такое решение в виде сборки дополнительных пакетов 
rpm-build-gcc и rpm-build-slim.

Всё, что требует сборки программ, то есть проектов с компиляцией, 
вписано в зависимости метапакета rpm-build-gcc. Возможно, стоит его 
назвать формирователем базовой сборочной среды, но пока конкурс на 
название никто не выиграл.

rpm-build-slim — это бинарная перепаковка пакета rpm-build, с 
исправлением зависимостей (убрано то, что перешло в rpm-build-gcc). 
Предполагается, что содержимое пакетов rpm-build и rpm-build-slim всегда 
идентично и они не могут расходиться по версиям.

Основная цель всего этого — не вносить в систему gcc и glibc-devel, 
когда нужно только собрать rpm-пакет. Например, для сборки 
rpm-build-slim не нужен компилятор, потому что он ничего не компилирует. 
Так же и для rpmrebuild из пакета rpmrebuild не нужен компилятор — он 
упаковывает файлы из системы. Также и для epm rebuild не нужен 
компилятор — он просто перепаковывает готовые пакеты (архивы).

Другими словами, пакеты собирают не только в сборочнице.

Ключевые моменты:
- и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild
- rpm-build-slim имеет BuildRequires: rpm-build = %version%release

Задание для проверки:
284378 TESTED #2 [test-only] sisyphus rpm-build-gcc.git=10.0-alt1 
rpm-build-slim.git=4.0.4-alt177

Основная бага по теме:
https://bugzilla.altlinux.org/34308

-- 
С уважением,
Виталий Липатов,
ALT Linux Team

Re: [devel] rpm-build для сборки пакетов

[Dmitry V. Levin]

Hi,

On Tue, Sep 07, 2021 at 11:44:29AM +0300, Vitaly Lipatov wrote:
> Всем добрый день!
[...]
> Основная цель всего этого — не вносить в систему gcc и glibc-devel, 
> когда нужно только собрать rpm-пакет. Например, для сборки 
> rpm-build-slim не нужен компилятор, потому что он ничего не компилирует. 
> Так же и для rpmrebuild из пакета rpmrebuild не нужен компилятор — он 
> упаковывает файлы из системы. Также и для epm rebuild не нужен 
> компилятор — он просто перепаковывает готовые пакеты (архивы).
> 
> Другими словами, пакеты собирают не только в сборочнице.

Не согласен с постановкой задачи.
Пакеты собирают только в hasher'е,
всё остальное не рекомендуется.

> Ключевые моменты:
> - и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild

NAK.

В такой схеме rpm-build-slim лексикографически круче rpm-build
и по зависимости /usr/bin/rpmbuild будет выбираться вместо rpm-build.


-- 
ldv

Re: [devel] rpm-build для сборки пакетов

[Alexey V. Vissarionov]

On 2021-09-07 11:54:57 +0300, Dmitry V. Levin wrote:

 >> Так же и для rpmrebuild из пакета rpmrebuild не нужен компилятор —
 >> он упаковывает файлы из системы. Также и для epm rebuild не нужен
 >> компилятор — он просто перепаковывает готовые пакеты (архивы).
 >> Другими словами, пакеты собирают не только в сборочнице.
 > Не согласен с постановкой задачи. Пакеты собирают только в
 > hasher'е, всё остальное не рекомендуется.

Ага. Но запускают его не только на сборочной ферме.

 >> Ключевые моменты:
 >> - и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild
 > NAK.
 > В такой схеме rpm-build-slim лексикографически круче rpm-build и по
 > зависимости /usr/bin/rpmbuild будет выбираться вместо rpm-build.

Всегда можно придумать rpm-build-base, rpm-build-gcc, rpm-build-max
и еще кучу разных названий. В приведенном примере, кстати, зависимость
от /usr/bin/rpmbuild будет по умолчанию тащить rpm-build-max, если
иное не указано явно.

Дело за малым: придумать способ указать, какой вариант нужен (будет
достаточным) для каждого отдельно взятого пакета.


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net

Re: [devel] rpm-build для сборки пакетов

[Vitaly Lipatov]

Dmitry V. Levin писал 7.9.21 11:54:
> Hi,
> 
> On Tue, Sep 07, 2021 at 11:44:29AM +0300, Vitaly Lipatov wrote:
>> Всем добрый день!
> [...]
>> Основная цель всего этого — не вносить в систему gcc и glibc-devel,
>> когда нужно только собрать rpm-пакет. Например, для сборки
>> rpm-build-slim не нужен компилятор, потому что он ничего не 
>> компилирует.
>> Так же и для rpmrebuild из пакета rpmrebuild не нужен компилятор — он
>> упаковывает файлы из системы. Также и для epm rebuild не нужен
>> компилятор — он просто перепаковывает готовые пакеты (архивы).
>> 
>> Другими словами, пакеты собирают не только в сборочнице.
> 
> Не согласен с постановкой задачи.
> Пакеты собирают только в hasher'е,
> всё остальное не рекомендуется.
Я отложу в сторону тему, что удобный способ сопровождения пакетов в 
hasher мне неизвестен, поэтому я не использую hasher для сборки пакетов 
— только для проверки собираемости.
Ваши рекомендации понятны и правильны, с точки зрения мантейнера 
пакетов, но от чаяний народа они далеки.
Почему-то вы считаете, что компания Google должна собирать свой браузер 
Chrome в hasher. А они так не считают.

>> Ключевые моменты:
>> - и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild
> 
> NAK.
> 
> В такой схеме rpm-build-slim лексикографически круче rpm-build
> и по зависимости /usr/bin/rpmbuild будет выбираться вместо rpm-build.
Тогда я предлагаю более простой и правильный вариант:
сделать пакет base-build-system с необходимыми для формирования базовой 
сборочной системы зависимостями и убрать всё лишнее из rpm-build.
Могу ли я чем-то помочь в этом? Могу подготовить task.

-- 
С уважением,
Виталий Липатов,
ALT Linux Team

Re: [devel] rpm-build для сборки пакетов

[Dmitry V. Levin]

On Tue, Sep 07, 2021 at 02:39:51PM +0300, Vitaly Lipatov wrote:
> Dmitry V. Levin писал 7.9.21 11:54:
[...]
> >> Ключевые моменты:
> >> - и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild
> > 
> > NAK.
> > 
> > В такой схеме rpm-build-slim лексикографически круче rpm-build
> > и по зависимости /usr/bin/rpmbuild будет выбираться вместо rpm-build.
> Тогда я предлагаю более простой и правильный вариант:
> сделать пакет base-build-system с необходимыми для формирования базовой 
> сборочной системы зависимостями и убрать всё лишнее из rpm-build.

Так нельзя сделать, потому что сломается hasher, в котором зашит
rpm-build.  Видимо, единственный способ - это распилить пакет rpm-build.


-- 
ldv

Re: [devel] rpm-build для сборки пакетов

[Dmitry V. Levin]

On Tue, Sep 07, 2021 at 03:31:28PM +0300, Dmitry V. Levin wrote:
> On Tue, Sep 07, 2021 at 02:39:51PM +0300, Vitaly Lipatov wrote:
> > Dmitry V. Levin писал 7.9.21 11:54:
> [...]
> > >> Ключевые моменты:
> > >> - и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild
> > > 
> > > NAK.
> > > 
> > > В такой схеме rpm-build-slim лексикографически круче rpm-build
> > > и по зависимости /usr/bin/rpmbuild будет выбираться вместо rpm-build.
> > Тогда я предлагаю более простой и правильный вариант:
> > сделать пакет base-build-system с необходимыми для формирования базовой 
> > сборочной системы зависимостями и убрать всё лишнее из rpm-build.
> 
> Так нельзя сделать, потому что сломается hasher, в котором зашит
> rpm-build.  Видимо, единственный способ - это распилить пакет rpm-build.

Но надо понимать, что отпилить зависимости пакета rpm-build от пакета,
в котором находится его /usr/lib/rpm/, будет непросто.


-- 
ldv

Re: [devel] rpm-build для сборки пакетов

[Vitaly Lipatov]

Dmitry V. Levin писал 7.9.21 16:09:
> On Tue, Sep 07, 2021 at 03:31:28PM +0300, Dmitry V. Levin wrote:
>> On Tue, Sep 07, 2021 at 02:39:51PM +0300, Vitaly Lipatov wrote:
>> > Dmitry V. Levin писал 7.9.21 11:54:
>> [...]
>> > >> Ключевые моменты:
>> > >> - и rpm-build и rpm-build-slim предоставляют /usr/bin/rpmbuild
>> > >
>> > > NAK.
>> > >
>> > > В такой схеме rpm-build-slim лексикографически круче rpm-build
>> > > и по зависимости /usr/bin/rpmbuild будет выбираться вместо rpm-build.
>> > Тогда я предлагаю более простой и правильный вариант:
>> > сделать пакет base-build-system с необходимыми для формирования базовой
>> > сборочной системы зависимостями и убрать всё лишнее из rpm-build.
>> 
>> Так нельзя сделать, потому что сломается hasher, в котором зашит
>> rpm-build.  Видимо, единственный способ - это распилить пакет 
>> rpm-build.
> 
> Но надо понимать, что отпилить зависимости пакета rpm-build от пакета,
> в котором находится его /usr/lib/rpm/, будет непросто.
Вы не могли бы в общих чертах показать схему распила? Я пока не вижу 
варианта, при котором установка rpm-build могла бы приводить к иному, 
чем сейчас, результату.
То есть самый безболезненный вариант — это выделить /usr/bin/rpmbuild и 
что ему нужно, в отдельный пакет.
Тогда не придётся переделывать ничего, кроме пакета rpm-build, но 
структура станет ещё более нестандартной.

-- 
С уважением,
Виталий Липатов,
ALT Linux Team

Re: [devel] rpm-build для сборки пакетов

[Alexey V. Vissarionov]

On 2021-09-07 15:31:28 +0300, Dmitry V. Levin wrote:

 >> Тогда я предлагаю более простой и правильный вариант:
 >> сделать пакет base-build-system с необходимыми для формирования
 >> базовой сборочной системы зависимостями и убрать всё лишнее из
 >> rpm-build.
 > Так нельзя сделать, потому что сломается hasher, в котором зашит
 > rpm-build.

В смысле, прибит гвоздями? А можно сделать это параметром? Пусть
редко нужным, но все же.

 > Видимо, единственный способ - это распилить пакет rpm-build.

Чую подводные грабли.


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net

Re: [devel] rpm-build для сборки пакетов

[Dmitry V. Levin]

On Tue, Sep 07, 2021 at 04:49:33PM +0300, Alexey V. Vissarionov wrote:
> On 2021-09-07 15:31:28 +0300, Dmitry V. Levin wrote:
> 
>  >> Тогда я предлагаю более простой и правильный вариант:
>  >> сделать пакет base-build-system с необходимыми для формирования
>  >> базовой сборочной системы зависимостями и убрать всё лишнее из
>  >> rpm-build.
>  > Так нельзя сделать, потому что сломается hasher, в котором зашит
>  > rpm-build.
> 
> В смысле, прибит гвоздями? А можно сделать это параметром? Пусть
> редко нужным, но все же.

Это параметризованное значение по умолчанию, которое должно продолжать
работать для всех репозиториев, для которых работало раньше.

>  > Видимо, единственный способ - это распилить пакет rpm-build.
> 
> Чую подводные грабли.

Всё верно.


-- 
ldv

Re: [devel] rpm-build для сборки пакетов

[Vitaly Lipatov]

Dmitry V. Levin писал 7.9.21 16:52:
> On Tue, Sep 07, 2021 at 04:49:33PM +0300, Alexey V. Vissarionov wrote:
>> On 2021-09-07 15:31:28 +0300, Dmitry V. Levin wrote:
>> 
>>  >> Тогда я предлагаю более простой и правильный вариант:
>>  >> сделать пакет base-build-system с необходимыми для формирования
>>  >> базовой сборочной системы зависимостями и убрать всё лишнее из
>>  >> rpm-build.
>>  > Так нельзя сделать, потому что сломается hasher, в котором зашит
>>  > rpm-build.
>> 
>> В смысле, прибит гвоздями? А можно сделать это параметром? Пусть
>> редко нужным, но все же.
> 
> Это параметризованное значение по умолчанию, которое должно продолжать
> работать для всех репозиториев, для которых работало раньше.
> 
>>  > Видимо, единственный способ - это распилить пакет rpm-build.
Я подумал, что может быть лучше смотреть в сторону сборки rpmbuild из 
нового rpm? Ничего не трогая в rpm-build вообще.

Ведь если версия пакета с rpm-build не менялась почти 20 лет, это 
говорит об очень высоком градусе консерватизма. Бывают и ошибки, 
увековеченные в границе. Вместо того, чтобы исправлять то, что нельзя 
менять, лучше отойти в сторону.

-- 
С уважением,
Виталий Липатов,
ALT Linux Team

Re: [devel] rpm-build для сборки пакетов

[Dmitry V. Levin]

On Wed, Sep 08, 2021 at 11:50:50AM +0300, Vitaly Lipatov wrote:
> >> On 2021-09-07 15:31:28 +0300, Dmitry V. Levin wrote:
> >>  > Видимо, единственный способ - это распилить пакет rpm-build.
> Я подумал, что может быть лучше смотреть в сторону сборки rpmbuild из 
> нового rpm? Ничего не трогая в rpm-build вообще.

Поясните, пожалуйста, свою мысль.  Вы хотите отойти от всего,
что мы делали 20+ лет, и собирать как в федоре по правилам федоры?

> Ведь если версия пакета с rpm-build не менялась почти 20 лет, это 
> говорит об очень высоком градусе консерватизма. Бывают и ошибки, 

С некоторых пор так повелось, что в rpm-build меняется не номер версии,
а номер релиза.  Сейчас там 4.0.4-alt177, но могла сложиться другая
традиция нумерации выпусков пакета, например, 4.0.4.177.


-- 
ldv

Re: [devel] rpm-build для сборки пакетов

[Dmitry V. Levin]

On Wed, Sep 08, 2021 at 11:58:44AM +0300, Dmitry V. Levin wrote:
> On Wed, Sep 08, 2021 at 11:50:50AM +0300, Vitaly Lipatov wrote:
[...]
> > Ведь если версия пакета с rpm-build не менялась почти 20 лет, это 
> > говорит об очень высоком градусе консерватизма. Бывают и ошибки, 
> 
> С некоторых пор так повелось, что в rpm-build меняется не номер версии,
> а номер релиза.  Сейчас там 4.0.4-alt177, но могла сложиться другая
> традиция нумерации выпусков пакета, например, 4.0.4.177.

А что, пусть следующий выпуск будет 4.0.4.178, не жалко.


-- 
ldv

Re: [devel] rpm-build для сборки пакетов

[Anton Farygin]

On 08.09.2021 13:27, Dmitry V. Levin wrote:
> On Wed, Sep 08, 2021 at 11:58:44AM +0300, Dmitry V. Levin wrote:
>> On Wed, Sep 08, 2021 at 11:50:50AM +0300, Vitaly Lipatov wrote:
> [...]
>>> Ведь если версия пакета с rpm-build не менялась почти 20 лет, это
>>> говорит об очень высоком градусе консерватизма. Бывают и ошибки,
>> С некоторых пор так повелось, что в rpm-build меняется не номер версии,
>> а номер релиза.  Сейчас там 4.0.4-alt177, но могла сложиться другая
>> традиция нумерации выпусков пакета, например, 4.0.4.177.
> А что, пусть следующий выпуск будет 4.0.4.178, не жалко.
>
>
Давно пора :)

Re: [devel] rpm-build для сборки пакетов

[Vladimir D. Seleznev]

On Wed, Sep 08, 2021 at 01:27:30PM +0300, Dmitry V. Levin wrote:
> On Wed, Sep 08, 2021 at 11:58:44AM +0300, Dmitry V. Levin wrote:
> > On Wed, Sep 08, 2021 at 11:50:50AM +0300, Vitaly Lipatov wrote:
> [...]
> > > Ведь если версия пакета с rpm-build не менялась почти 20 лет, это 
> > > говорит об очень высоком градусе консерватизма. Бывают и ошибки, 
> > 
> > С некоторых пор так повелось, что в rpm-build меняется не номер версии,
> > а номер релиза.  Сейчас там 4.0.4-alt177, но могла сложиться другая
> > традиция нумерации выпусков пакета, например, 4.0.4.177.
> 
> А что, пусть следующий выпуск будет 4.0.4.178, не жалко.

А давайте сразу просто 178?

-- 
   WBR,
   Vladimir D. Seleznev

Re: [devel] rpm-build для сборки пакетов

[Vitaly Lipatov]

Dmitry V. Levin писал 8.9.21 11:58:
> On Wed, Sep 08, 2021 at 11:50:50AM +0300, Vitaly Lipatov wrote:
>> >> On 2021-09-07 15:31:28 +0300, Dmitry V. Levin wrote:
>> >>  > Видимо, единственный способ - это распилить пакет rpm-build.
>> Я подумал, что может быть лучше смотреть в сторону сборки rpmbuild из
>> нового rpm? Ничего не трогая в rpm-build вообще.
> 
> Поясните, пожалуйста, свою мысль.  Вы хотите отойти от всего,
> что мы делали 20+ лет, и собирать как в федоре по правилам федоры?
Да, я полностью не понят.
Я вижу, что изменить что-либо в rpm-build невозможно. Вы предлагали 
аргументы против:
что он используется в сборке образов
https://bugzilla.altlinux.org/show_bug.cgi?id=34308#c15
что он является умолчанием в hasher и поменять это нельзя
В ссылках на RedHat/Fedora я хотел только показать, что rpm-build должен 
бы сохранять свою независимость, и не нести на себе дополнительную роль 
формирователя базовой сборочной среды. Я считаю, что такое изменение 
функции этого пакета было ошибкой. Как у нас водится, всё давно стало 
фичей и поменять ничего нельзя.

Но. Я подумал, что и не нужно ничего делать с rpm-build. Пусть всё 
остаётся как есть.
Решаемая мной задача — сборка rpm-пакета вне базовой сборочной среды 
может быть решена другим rpmbuild, например, собираемым из rpm 4.1x. Его 
можно и назвать по-другому, и устранить конфликты с 
rpm-build/librpm/librpm7.
Одобряете ли вы такой путь? Будет лучше делать такую сборку в рамках 
пакета rpm или вести вообще отдельно?

>> Ведь если версия пакета с rpm-build не менялась почти 20 лет, это
>> говорит об очень высоком градусе консерватизма. Бывают и ошибки,
> 
> С некоторых пор так повелось, что в rpm-build меняется не номер версии,
> а номер релиза.  Сейчас там 4.0.4-alt177, но могла сложиться другая
> традиция нумерации выпусков пакета, например, 4.0.4.177.
У меня есть стереотип, что если меняется код — меняется версия. Если 
меняется спек — меняется релиз. Я понимаю, что поначалу изменения в rpm 
выглядели как пара патчей, но по сути это форк проекта rpm, длящийся 20 
лет. Если его не закопали, он должен быть самостоятелен, со своей 
нумерацией.

-- 
С уважением,
Виталий Липатов,
ALT Linux Team