[devel] Сборочница: никогда такого не было, и вот опять.

[devel] Сборочница: никогда такого не было, и вот опять.

[Igor Vlasenko]

Сборочница: никогда такого не было, и вот опять.

Уважаемые коллеги!

Хотел бы еще раз привлечь внимание к багу сборочницы
 https://bugzilla.altlinux.org/39276 --
для сборки пакетов используются одни и те же значения лимитов
hasher-priv без возможности как-то на них повлиять.

Это до боли напоминает "прокрустово ложе", историю о борце за
человеческое равенство разбойнике Прокрусте,
Добрый разбойник всех, кто к нему попадал, укладывал на свое ложе;
тем, для кого ложе было коротко, он отрубал ноги,
а у тех, для кого оно было слишком длинно, он ноги вытягивал.

Логика подсказывает, что лимиты должны быть не абсолютными, а
соразмерными пакету. Было бы странно дом для скворца - скворечник,
будку для собаки и сарай для слона делать одинаковыми физически.
Однако сборочница именно так и устроена.

К примеру, лимит wlimit_time_idle.
Прямо сейчас в репозитории 6 пакетов
java-1.8.0-openjdk
java-9-openjdk
java-10-openjdk
java3d
jogl2
qt5-webengine

обманывают сборочницу и обходят этот лимит с помощью вставки в спек
кода вида (while true; do date; sleep 7m; done) &

Чем плох такой обман?
1) замусоривается лог сборки
2) вместо предохранителя wlimit_time_idle мы устанавливаем "жучёк".
Если вдруг, к примеру, выбьет тесты, и сборка зависнет, то
wlimit_time_idle не сработает, так как будет продолжать идти мусор от
фонового sleep;date.

Следующий лимит, wlimit_time_elapsed, уже обойти нельзя.
Уважаемый Дмитрий не хочет ничего делать в этом случае,
отговаривается тем, что таких пакетов в нормальных случаях быть не может.

Здесь я навскидку приведу 4 примера, где как раз сам пакет честный,
а сборка упирается в wlimit_time_elapsed.

* библиотека libint, с которой и начался #39276
* монолитный texlive-2016
* java-9-openjdk и его эпическая история бутстрап сборки в p9 на armh,
  см. https://bugzilla.altlinux.org/39614
* свежий пример, о котором я рассказывал в Переяславле,
  #274515 FAILED #2 sisyphus srpm=scala-2.10.6-alt3_17jpp8.src.rpm (armh).

С добавлением новых архитектур сложилась ситуация, когда
вполне возможно, что в Сизифе таких пакетов, как старая scala (java8+armh)
несколько десятков, они как мины, ждут, когда их наконец
попробуют пересобрать на armh, чтобы взорваться на
wlimit_time_elapsed. Поэтому я и интенсивно переезжаю на java11,
а java8only пакеты сразу массово выбрасываю в топку, чтобы не
связываться со сборочницей.

Как я уже говорил, это очень неприятная проблема на ровном месте.

И вот теперь прозвенел первый звоночек уже и в отношении
лимита wlimit_bytes_written. Он должен защищать нас
от бесконечного цикла, забивающего лог мусором.

Впервые на моей памяти честный лог сборки в задании
#282652 FAILED #2 sisyphus srpm=openjfx-11.0.9.2-alt1_6jpp11.src.rpm
вылез за wlimit_bytes_written.

Конечно wlimit_bytes_written, как и wlimit_time_idle, можно обойти.
Можно отключить наиболее частые warnings. Можно выставить VERBOSE=0.
Доводя до логического конца, можно вообще написать в спеке
абсурд, зеркально подчеркивающий абсурд фиксированных лимитов,
написать

make build >/dev/null 2>&1

Э8()

Но openjfx только первая ласточка. Это не отменит того факта,
что исходники растут, и вполне может быть, что уже через год
пакеты, не вписывающиеся в wlimit_bytes_written,
тоже будут исчисляться десятками.

Как мне хочется спокойно собирать пакеты, а приходится
бороться со сборочницей, занимаясь глупостями
вроде обходов лимитов.

Надо подумать наперед и чинить это сейчас, а не ждать,
когда эта проблема начнет вырастать
из пока еще проблемы 2-3 человек (viy,zerg,...)
в проблему по настоящему массовую.


-- 

I V

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 6797 bytes --]

Доброго времени суток!

On Thu, 19 Aug 2021 01:03:53 +0300 Igor Vlasenko wrote:
> Сборочница: никогда такого не было, и вот опять.
> 
> Уважаемые коллеги!
> 
> Хотел бы еще раз привлечь внимание к багу сборочницы
>  https://bugzilla.altlinux.org/39276 --
> для сборки пакетов используются одни и те же значения лимитов
> hasher-priv без возможности как-то на них повлиять.
> 
> Это до боли напоминает "прокрустово ложе", историю о борце за
> человеческое равенство разбойнике Прокрусте,
> Добрый разбойник всех, кто к нему попадал, укладывал на свое ложе;
> тем, для кого ложе было коротко, он отрубал ноги,
> а у тех, для кого оно было слишком длинно, он ноги вытягивал.
> 
> Логика подсказывает, что лимиты должны быть не абсолютными, а
> соразмерными пакету. Было бы странно дом для скворца - скворечник,
> будку для собаки и сарай для слона делать одинаковыми физически.
> Однако сборочница именно так и устроена.
> 
> К примеру, лимит wlimit_time_idle.
> Прямо сейчас в репозитории 6 пакетов
> java-1.8.0-openjdk
> java-9-openjdk
> java-10-openjdk
> java3d
> jogl2
> qt5-webengine
> 
> обманывают сборочницу и обходят этот лимит с помощью вставки в спек
> кода вида (while true; do date; sleep 7m; done) &
> 
> Чем плох такой обман?
> 1) замусоривается лог сборки
> 2) вместо предохранителя wlimit_time_idle мы устанавливаем "жучёк".
> Если вдруг, к примеру, выбьет тесты, и сборка зависнет, то
> wlimit_time_idle не сработает, так как будет продолжать идти мусор от
> фонового sleep;date.
> 
> Следующий лимит, wlimit_time_elapsed, уже обойти нельзя.
> Уважаемый Дмитрий не хочет ничего делать в этом случае,
> отговаривается тем, что таких пакетов в нормальных случаях быть не может.
> 
> Здесь я навскидку приведу 4 примера, где как раз сам пакет честный,
> а сборка упирается в wlimit_time_elapsed.
> 
> * библиотека libint, с которой и начался #39276
> * монолитный texlive-2016
> * java-9-openjdk и его эпическая история бутстрап сборки в p9 на armh,
>   см. https://bugzilla.altlinux.org/39614
> * свежий пример, о котором я рассказывал в Переяславле,
>   #274515 FAILED #2 sisyphus srpm=scala-2.10.6-alt3_17jpp8.src.rpm (armh).
> 
> С добавлением новых архитектур сложилась ситуация, когда
> вполне возможно, что в Сизифе таких пакетов, как старая scala (java8+armh)
> несколько десятков, они как мины, ждут, когда их наконец
> попробуют пересобрать на armh, чтобы взорваться на
> wlimit_time_elapsed. Поэтому я и интенсивно переезжаю на java11,
> а java8only пакеты сразу массово выбрасываю в топку, чтобы не
> связываться со сборочницей.
> 
> Как я уже говорил, это очень неприятная проблема на ровном месте.
> 
> И вот теперь прозвенел первый звоночек уже и в отношении
> лимита wlimit_bytes_written. Он должен защищать нас
> от бесконечного цикла, забивающего лог мусором.
> 
> Впервые на моей памяти честный лог сборки в задании
> #282652 FAILED #2 sisyphus srpm=openjfx-11.0.9.2-alt1_6jpp11.src.rpm
> вылез за wlimit_bytes_written.
> 
> Конечно wlimit_bytes_written, как и wlimit_time_idle, можно обойти.
> Можно отключить наиболее частые warnings. Можно выставить VERBOSE=0.
> Доводя до логического конца, можно вообще написать в спеке
> абсурд, зеркально подчеркивающий абсурд фиксированных лимитов,
> написать
> 
> make build >/dev/null 2>&1
> 
> Э8()
> 
> Но openjfx только первая ласточка. Это не отменит того факта,
> что исходники растут, и вполне может быть, что уже через год
> пакеты, не вписывающиеся в wlimit_bytes_written,
> тоже будут исчисляться десятками.
> 
> Как мне хочется спокойно собирать пакеты, а приходится
> бороться со сборочницей, занимаясь глупостями
> вроде обходов лимитов.
> 
> Надо подумать наперед и чинить это сейчас, а не ждать,
> когда эта проблема начнет вырастать
> из пока еще проблемы 2-3 человек (viy,zerg,...)
> в проблему по настоящему массовую.

По-хорошему, эти параметры должны управляться через макросы spec.
Если по какой-то причине это принципиально невозможно (например, их
нужно знать на этапе до возможности прочитать spec), их нужно
задавать через интерфейс build.alt так же, как и зависимости.

Но боюсь, что здесь вопрос более административный, чем технический.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 01:03:53 MSK Igor Vlasenko wrote:

[...]
> qt5-webengine
> 
> обманывают сборочницу и обходят этот лимит с помощью вставки в спек
> кода вида (while true; do date; sleep 7m; done) &
Ты ошибаешься. Это сделано из-за того, что с какой-то версии ninja не 
получается заставить его выводить текущий лог сборки в реальном времени. Он 
его копит до завершения, а потом весь выплёвывает. Т.к. сборочница реагирует 
на долгое молчание, то пришлось сделать так.

[...]

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Igor Vlasenko]

On Thu, Aug 19, 2021 at 09:58:16AM +0300, Sergey V Turchin wrote:
> On Thursday, 19 August 2021 01:03:53 MSK Igor Vlasenko wrote:
> 
> [...]
> > qt5-webengine
> > 
> > обманывают сборочницу и обходят этот лимит с помощью вставки в спек
> > кода вида (while true; do date; sleep 7m; done) &
> Ты ошибаешься. Это сделано из-за того, что с какой-то версии ninja не 
> получается заставить его выводить текущий лог сборки в реальном времени. Он 
> его копит до завершения, а потом весь выплёвывает. Т.к. сборочница реагирует 
> на долгое молчание, то пришлось сделать так.

Это в точности и есть обман лимита сборочницы wlimit_time_elapsed.

-- 

I V

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Dmitry V. Levin]

On Thu, Aug 19, 2021 at 11:13:49AM +0300, Igor Vlasenko wrote:
> On Thu, Aug 19, 2021 at 09:58:16AM +0300, Sergey V Turchin wrote:
> > On Thursday, 19 August 2021 01:03:53 MSK Igor Vlasenko wrote:
> > 
> > [...]
> > > qt5-webengine
> > > 
> > > обманывают сборочницу и обходят этот лимит с помощью вставки в спек
> > > кода вида (while true; do date; sleep 7m; done) &
> > Ты ошибаешься. Это сделано из-за того, что с какой-то версии ninja не 
> > получается заставить его выводить текущий лог сборки в реальном времени. Он 
> > его копит до завершения, а потом весь выплёвывает. Т.к. сборочница реагирует 
> > на долгое молчание, то пришлось сделать так.
> 
> Это в точности и есть обман лимита сборочницы wlimit_time_elapsed.

Вот читаю я это, и складывается у меня ощущение, будто коллеги не освоили
инструмент N, и поэтому просят добавить хак в инструмент H.  Как это так,
специалисты высочайшего класса не могут добиться, чтобы инструмент N не
работал молча более часа, а всё-таки выводил информацию о том, чем он там
занимается.  Коллеги, ну это же позорище, стыд и срам, какая-то совершенно
немыслимая деградация, и как вы этого не чувствуете, я не понимаю.  Нет,
конечно, я из принципа не буду помогать вам идти в этом направлении,
извольте осваивать инструментарий, которым вы пользуетесь.


-- 
ldv

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 13:02:13 MSK Dmitry V wrote:

[...]
> инструмент N не работал молча более часа
В моём случае такого не было. Активно собирает, но молча.

[...]

> осваивать инструментарий, которым вы пользуетесь.
В моём случае я им не пользуюсь. Им пользуется инструментарий, которым 
пользуюсь я. ;-)

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:

[...]
> > инструмент N не работал молча более часа
> В моём случае такого не было. Активно собирает, но молча.
Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает 
молча более часа.

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Dmitry V. Levin]

On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> 
> [...]
> > > инструмент N не работал молча более часа
> > В моём случае такого не было. Активно собирает, но молча.
> Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает 
> молча более часа.

Наверное, кто-то попросил его собирать молча.
Снимите с него этот обет молчания, пусть пишет, как полагается.


-- 
ldv

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 14:15:36 MSK Dmitry V wrote:
> On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> > On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> > 
> > [...]
> > 
> > > > инструмент N не работал молча более часа
> > > 
> > > В моём случае такого не было. Активно собирает, но молча.
> > 
> > Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает
> > молча более часа.
> 
> Наверное, кто-то попросил его собирать молча.
> Снимите с него этот обет молчания, пусть пишет, как полагается.
Многие пытались, но эти патчи давно не работают или не работают только у нас.

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Dmitry V. Levin]

On Thu, Aug 19, 2021 at 02:21:19PM +0300, Sergey V Turchin wrote:
> On Thursday, 19 August 2021 14:15:36 MSK Dmitry V wrote:
> > On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> > > On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> > > 
> > > [...]
> > > 
> > > > > инструмент N не работал молча более часа
> > > > 
> > > > В моём случае такого не было. Активно собирает, но молча.
> > > 
> > > Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает
> > > молча более часа.
> > 
> > Наверное, кто-то попросил его собирать молча.
> > Снимите с него этот обет молчания, пусть пишет, как полагается.
> Многие пытались, но эти патчи давно не работают или не работают только у нас.

Огласите весь список, пожалуйста.


-- 
ldv

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 14:30:53 MSK Dmitry V wrote:
> On Thu, Aug 19, 2021 at 02:21:19PM +0300, Sergey V Turchin wrote:
> > On Thursday, 19 August 2021 14:15:36 MSK Dmitry V wrote:
> > > On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> > > > On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> > > > 
> > > > [...]
> > > > 
> > > > > > инструмент N не работал молча более часа
> > > > > 
> > > > > В моём случае такого не было. Активно собирает, но молча.
> > > > 
> > > > Я в изначальной цитате пропустил слово "молча", т.е. так и было,
> > > > работает
> > > > молча более часа.
> > > 
> > > Наверное, кто-то попросил его собирать молча.
> > > Снимите с него этот обет молчания, пусть пишет, как полагается.
> > 
> > Многие пытались, но эти патчи давно не работают или не работают только у
> > нас.
> Огласите весь список, пожалуйста.
Весь не смогу. Да, в Debian есть свежее исправление. Ща попробую.

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 14:30:53 MSK Dmitry V wrote:
> On Thu, Aug 19, 2021 at 02:21:19PM +0300, Sergey V Turchin wrote:
> > On Thursday, 19 August 2021 14:15:36 MSK Dmitry V wrote:
> > > On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> > > > On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> > > > 
> > > > [...]
> > > > 
> > > > > > инструмент N не работал молча более часа
> > > > > 
> > > > > В моём случае такого не было. Активно собирает, но молча.
> > > > 
> > > > Я в изначальной цитате пропустил слово "молча", т.е. так и было,
> > > > работает
> > > > молча более часа.
> > > 
> > > Наверное, кто-то попросил его собирать молча.
> > > Снимите с него этот обет молчания, пусть пишет, как полагается.
> > 
> > Многие пытались, но эти патчи давно не работают или не работают только у
> > нас.
> Огласите весь список, пожалуйста.
Полагаю, Debian и Fedora будет достаточно?

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 14:41:52 MSK Sergey V wrote:

[...]
> Весь не смогу. Да, в Debian есть свежее исправление. Ща попробую.
Фигвам.
http://git.altlinux.org/people/zerg/packages/?p=qt5-webengine.git;a=blob;f=verbose-gn-bootstrap.patch
Это у нас не работает.

-- 
Regards, Sergey.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Anton Farygin]

On 19.08.2021 14:15, Dmitry V. Levin wrote:
> On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
>> On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
>>
>> [...]
>>>> инструмент N не работал молча более часа
>>> В моём случае такого не было. Активно собирает, но молча.
>> Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает
>> молча более часа.
> Наверное, кто-то попросил его собирать молча.
> Снимите с него этот обет молчания, пусть пишет, как полагается.
>
>
Вообще, мне кажется, что есть и другие способы оценить наличие 
активности в сборочном чруте без отслеживания вывода от процесса сборки.

Может быть нам пойти таким путём ?

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Dmitry V. Levin]

On Thu, Aug 19, 2021 at 03:28:50PM +0300, Anton Farygin wrote:
> On 19.08.2021 14:15, Dmitry V. Levin wrote:
> > On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> >> On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> >>
> >> [...]
> >>>> инструмент N не работал молча более часа
> >>> В моём случае такого не было. Активно собирает, но молча.
> >> Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает
> >> молча более часа.
> > Наверное, кто-то попросил его собирать молча.
> > Снимите с него этот обет молчания, пусть пишет, как полагается.
> >
> >
> Вообще, мне кажется, что есть и другие способы оценить наличие 
> активности в сборочном чруте без отслеживания вывода от процесса сборки.

Если во время сборки в течение часа ничего не выводится, то скорее всего
это значит, что сборка зависла или зациклилась, в последнем случае будет
масса активности.  На практике зацикливающиеся сборки редко ничего
не выводят, поэтому они гораздо чаще упираются в другие лимиты.


-- 
ldv

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Anton Farygin]

On 19.08.2021 16:59, Dmitry V. Levin wrote:
> On Thu, Aug 19, 2021 at 03:28:50PM +0300, Anton Farygin wrote:
>> On 19.08.2021 14:15, Dmitry V. Levin wrote:
>>> On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
>>>> On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
>>>>
>>>> [...]
>>>>>> инструмент N не работал молча более часа
>>>>> В моём случае такого не было. Активно собирает, но молча.
>>>> Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает
>>>> молча более часа.
>>> Наверное, кто-то попросил его собирать молча.
>>> Снимите с него этот обет молчания, пусть пишет, как полагается.
>>>
>>>
>> Вообще, мне кажется, что есть и другие способы оценить наличие
>> активности в сборочном чруте без отслеживания вывода от процесса сборки.
> Если во время сборки в течение часа ничего не выводится, то скорее всего
> это значит, что сборка зависла или зациклилась, в последнем случае будет
> масса активности.  На практике зацикливающиеся сборки редко ничего
> не выводят, поэтому они гораздо чаще упираются в другие лимиты.
>
>
ну, т.е. нам надо рассматривать вариант не о закикленности, а о зависшем 
процессе.

В этом случае можно действительно полагаться на другую активность.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Ivan A. Melnikov]

On Thu, Aug 19, 2021 at 02:21:19PM +0300, Sergey V Turchin wrote:
> On Thursday, 19 August 2021 14:15:36 MSK Dmitry V wrote:
> > On Thu, Aug 19, 2021 at 01:55:02PM +0300, Sergey V Turchin wrote:
> > > On Thursday, 19 August 2021 13:48:59 MSK Sergey V wrote:
> > > 
> > > [...]
> > > 
> > > > > инструмент N не работал молча более часа
> > > > 
> > > > В моём случае такого не было. Активно собирает, но молча.
> > > 
> > > Я в изначальной цитате пропустил слово "молча", т.е. так и было, работает
> > > молча более часа.
> > 
> > Наверное, кто-то попросил его собирать молча.
> > Снимите с него этот обет молчания, пусть пишет, как полагается.
> Многие пытались, но эти патчи давно не работают или не работают только у нас.

Ну вот и я попробую. Кажется, как-то так:

diff --git a/qtwebengine.spec b/qtwebengine.spec
index 7434e61319..3e5f8e5f4b 100644
--- a/qtwebengine.spec
+++ b/qtwebengine.spec
@@ -313,8 +313,8 @@ pushd %_target_platform
     QMAKE_EXTRA_ARGS+="-system-webengine-ffmpeg" \
 %endif
     ..
-(while true; do date; sleep 7m; done) &
-%make_build
+
+%make_build -Onone
 %if %qdoc_found
 export QT_HASH_SEED=0
 %make docs


Попробуйте, у меня на локалхосте помогло.

-- 
  wbr,
    iv m.

Re: [devel] Сборочница: никогда такого не было, и вот опять.

[Sergey V Turchin]

On Thursday, 19 August 2021 18:21:22 MSK Ivan A wrote:

[...]
> Ну вот и я попробую. Кажется, как-то так:
[...]
> -%make_build
> +%make_build -Onone
[...]

> Попробуйте, у меня на локалхосте помогло.
Спасибо! На моем тоже заработало.

-- 
Regards, Sergey.

[devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Sergey V Turchin]

On Thursday, 19 August 2021 13:02:13 MSK Dmitry V wrote:

[...]
> Вот читаю я это, и складывается у меня ощущение, будто коллеги не освоили
> инструмент N, и поэтому просят добавить хак в инструмент H.
Я не осваивал сборочницу и в свой инструмент хочу добавить хак.
Можно подсказать простой способ, которым узнать количество оперативки, 
доступное пакету при сборке на нашей сборочнице?

[...]

-- 
Regards, Sergey.

Re: [devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Vitaly Lipatov]

Sergey V Turchin писал 20.8.21 13:55:
> On Thursday, 19 August 2021 13:02:13 MSK Dmitry V wrote:
> 
> [...]
>> Вот читаю я это, и складывается у меня ощущение, будто коллеги не 
>> освоили
>> инструмент N, и поэтому просят добавить хак в инструмент H.
> Я не осваивал сборочницу и в свой инструмент хочу добавить хак.
> Можно подсказать простой способ, которым узнать количество оперативки,
> доступное пакету при сборке на нашей сборочнице?

А вы случайно не такой хак хотите добавить? Он ограничивает количество 
параллельных процессов, в зависимости от доступной памяти и заданного 
размера процесса.

BuildRequires(pre): rpm-build-intro
# use no more than system_memory/3000 build procs
%_tune_parallel_build_by_procsize 3000

https://bugzilla.altlinux.org/show_bug.cgi?id=35112


-- 
С уважением,
Виталий Липатов,
ALT Linux Team

Re: [devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Sergey V Turchin]

On Friday, 20 August 2021 16:19:53 MSK Vitaly Lipatov wrote:
> Sergey V Turchin писал 20.8.21 13:55:
> > On Thursday, 19 August 2021 13:02:13 MSK Dmitry V wrote:
> > 
> > [...]
> > 
> >> Вот читаю я это, и складывается у меня ощущение, будто коллеги не
> >> освоили
> >> инструмент N, и поэтому просят добавить хак в инструмент H.
> > 
> > Я не осваивал сборочницу и в свой инструмент хочу добавить хак.
> > Можно подсказать простой способ, которым узнать количество оперативки,
> > доступное пакету при сборке на нашей сборочнице?
> 
> А вы случайно не такой хак хотите добавить? Он ограничивает количество
> параллельных процессов, в зависимости от доступной памяти и заданного
> размера процесса.
Похоже, этому хаку тоже хочется узнать ответ на мой вопрос.
Проверьте, правильно ли показывает в сборочнице `distr_vendor -m`.

> BuildRequires(pre): rpm-build-intro
> # use no more than system_memory/3000 build procs
> %_tune_parallel_build_by_procsize 3000
> 
> https://bugzilla.altlinux.org/show_bug.cgi?id=35112


-- 
Regards, Sergey.

Re: [devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Vitaly Lipatov]

Sergey V Turchin писал 20.8.21 16:44:
...
>> А вы случайно не такой хак хотите добавить? Он ограничивает количество
>> параллельных процессов, в зависимости от доступной памяти и заданного
>> размера процесса.
> Похоже, этому хаку тоже хочется узнать ответ на мой вопрос.
Я думал, что было обсуждение в баге, но не нашёл...

> Проверьте, правильно ли показывает в сборочнице `distr_vendor -m`.
[00:00:05]  System memory size (MB) (-m): 257835
http://git.altlinux.org/tasks/283528/build/100/x86_64/log

Я не знаю, как проверить правильное значение. Дмитрий вроде писал, что 
реально доступное меньше, поэтому я делю на два.
-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Dmitry V. Levin]

On Fri, Aug 20, 2021 at 01:55:35PM +0300, Sergey V Turchin wrote:
> On Thursday, 19 August 2021 13:02:13 MSK Dmitry V wrote:
> 
> [...]
> > Вот читаю я это, и складывается у меня ощущение, будто коллеги не освоили
> > инструмент N, и поэтому просят добавить хак в инструмент H.
> Я не осваивал сборочницу и в свой инструмент хочу добавить хак.
> Можно подсказать простой способ, которым узнать количество оперативки, 
> доступное пакету при сборке на нашей сборочнице?

64 гигабайта суммарно на память и файловую систему.  Но зачем?


-- 
ldv

Re: [devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Sergey V Turchin]

On Saturday, 21 August 2021 00:10:20 MSK Dmitry V wrote:
> On Fri, Aug 20, 2021 at 01:55:35PM +0300, Sergey V Turchin wrote:
> > On Thursday, 19 August 2021 13:02:13 MSK Dmitry V wrote:
> > 
> > [...]
> > 
> > > Вот читаю я это, и складывается у меня ощущение, будто коллеги не
> > > освоили
> > > инструмент N, и поэтому просят добавить хак в инструмент H.
> > 
> > Я не осваивал сборочницу и в свой инструмент хочу добавить хак.
> > Можно подсказать простой способ, которым узнать количество оперативки,
> > доступное пакету при сборке на нашей сборочнице?
> 64 гигабайта
Я хотел выяснить, "как узнать", а не "сколько".
А ведь совсем недавно было 32. Завтра может стать 48 или 80.

> суммарно на память
Но если ответ только такой, то вопрос другой: как в spec-файле узнать, что 
сборка идёт на gyle.altlinux.org?

> и файловую систему.
`df ./` сделать легко при необходимости.

> Но зачем?
Прикинуть в spec-e, сколько сборочных процессов влезут для "make -j".

-- 
Regards, Sergey.

Re: [devel] Cколько памяти есть?

[Dmitry V. Levin]

On Mon, Aug 23, 2021 at 12:00:15PM +0300, Sergey V Turchin wrote:
> On Saturday, 21 August 2021 00:10:20 MSK Dmitry V wrote:
> > On Fri, Aug 20, 2021 at 01:55:35PM +0300, Sergey V Turchin wrote:
[...]
> > > Можно подсказать простой способ, которым узнать количество оперативки,
> > > доступное пакету при сборке на нашей сборочнице?
> > 64 гигабайта
> Я хотел выяснить, "как узнать", а не "сколько".
> А ведь совсем недавно было 32. Завтра может стать 48 или 80.

Никто раньше не спрашивал, никакого интерфейса пока нет.
Можно что-нибудь придумать.

> > суммарно на память
> Но если ответ только такой, то вопрос другой: как в spec-файле узнать, что 
> сборка идёт на gyle.altlinux.org?

Это обычная сборка, ничем принципиально не отличающаяся от других
аналогичных сборок.

> > и файловую систему.
> `df ./` сделать легко при необходимости.

Не факт, что эта файловая система используется тем, кто делает `df ./`,
эксклюзивно.


-- 
ldv

Re: [devel] Cколько памяти есть?

[Sergey V Turchin]

On Monday, 23 August 2021 12:11:38 MSK Dmitry V wrote:
> On Mon, Aug 23, 2021 at 12:00:15PM +0300, Sergey V Turchin wrote:
> > On Saturday, 21 August 2021 00:10:20 MSK Dmitry V wrote:
> > > On Fri, Aug 20, 2021 at 01:55:35PM +0300, Sergey V Turchin wrote:
> [...]
> 
> > > > Можно подсказать простой способ, которым узнать количество оперативки,
> > > > доступное пакету при сборке на нашей сборочнице?
> > > 
> > > 64 гигабайта
> > 
> > Я хотел выяснить, "как узнать", а не "сколько".
> > А ведь совсем недавно было 32. Завтра может стать 48 или 80.
> 
> Никто раньше не спрашивал, никакого интерфейса пока нет.
> Можно что-нибудь придумать.
Давайте придумаем.

[...]

-- 
Regards, Sergey.

Re: [devel] Cколько памяти есть?

[Anton Farygin]

On 23.08.2021 12:11, Dmitry V. Levin wrote:
> On Mon, Aug 23, 2021 at 12:00:15PM +0300, Sergey V Turchin wrote:
>> On Saturday, 21 August 2021 00:10:20 MSK Dmitry V wrote:
>>> On Fri, Aug 20, 2021 at 01:55:35PM +0300, Sergey V Turchin wrote:
> [...]
>>>> Можно подсказать простой способ, которым узнать количество оперативки,
>>>> доступное пакету при сборке на нашей сборочнице?
>>> 64 гигабайта
>> Я хотел выяснить, "как узнать", а не "сколько".
>> А ведь совсем недавно было 32. Завтра может стать 48 или 80.
> Никто раньше не спрашивал, никакого интерфейса пока нет.
> Можно что-нибудь придумать.

Мне кажется, что даже если и придумывать, то придумывать надо 
комплексно. Для всех случаев (и локальных тоже).

Иначе у нас опять будет отличия в сборочнице и локальном хешере

>
>>> .суммарно на память
>> Но если ответ только такой, то вопрос другой: как в spec-файле узнать, что
>> сборка идёт на gyle.altlinux.org?
> Это обычная сборка, ничем принципиально не отличающаяся от других
> аналогичных сборок.

В той системе другие ресурсы, это основное отличие.

Точнее даже не то, что они просто другие, а то, что оперативная память 
используется совместно для диска и процессов сборки.

Re: [devel] Cколько памяти есть? (Сборочница: никогда такого не было, и вот опять.)

[Sergey V Turchin]

On Friday, 20 August 2021 23:09:31 MSK Vitaly Lipatov wrote:
> Sergey V Turchin писал 20.8.21 16:44:
> ...
> 
> >> А вы случайно не такой хак хотите добавить? Он ограничивает количество
> >> параллельных процессов, в зависимости от доступной памяти и заданного
> >> размера процесса.
> > 
> > Похоже, этому хаку тоже хочется узнать ответ на мой вопрос.
> 
> Я думал, что было обсуждение в баге, но не нашёл...
> 
> > Проверьте, правильно ли показывает в сборочнице `distr_vendor -m`.
> 
> [00:00:05]  System memory size (MB) (-m): 257835
> http://git.altlinux.org/tasks/283528/build/100/x86_64/log
System memory size (MB) (-m): 522761
http://git.altlinux.org/tasks/283528/build/100/ppc64le/log

> Я не знаю, как проверить правильное значение. Дмитрий вроде писал, что
> реально доступное меньше, поэтому я делю на два.
Это совсем неправильно. Там ограничего cgroups и никак не связано с основоной 
памятью.

-- 
Regards, Sergey.