[devel] Ограничение количества сборочных процессов под размер доступной памяти

[devel] Ограничение количества сборочных процессов под размер доступной памяти

[Vitaly Lipatov]

Поскольку на сборочных машинах теперь заданиям теперь выдаётся большое 
количество процессов, программы на C++ с множеством модулей, 
собирающихся параллельно, могут не влезть в память при компиляции.

Если написать в спеке
BuildRequires(pre): rpm-build-intro >= 2.1.6
%_tune_parallel_build_by_procsize 1500

то количество используемых при параллельной сборке процессов будет 
ограничено с учётом заявленного потребления 1500Мб на процесс, примерно 
по такой формуле:

__nprocs = max(min(round(MAX/NEED)-1,__nprocs),1)

где MAX и NEED — это объём доступной в системе и требуемой процессом 
памяти соответственно.

Это решение с успехом применил при сборке telegram-desktop, см.
https://bugzilla.altlinux.org/show_bug.cgi?id=35112#c2

-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Ограничение количества сборочных процессов под размер доступной памяти

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1999 bytes --]

On Thu, Jul 19, 2018 at 08:55:33AM +0300, Vitaly Lipatov wrote:
> Поскольку на сборочных машинах теперь заданиям теперь выдаётся большое 
> количество процессов, программы на C++ с множеством модулей, 
> собирающихся параллельно, могут не влезть в память при компиляции.
> 
> Если написать в спеке
> BuildRequires(pre): rpm-build-intro >= 2.1.6
> %_tune_parallel_build_by_procsize 1500
> 
> то количество используемых при параллельной сборке процессов будет 
> ограничено с учётом заявленного потребления 1500Мб на процесс, примерно 
> по такой формуле:
> 
> __nprocs = max(min(round(MAX/NEED)-1,__nprocs),1)
> 
> где MAX и NEED — это объём доступной в системе и требуемой процессом 
> памяти соответственно.
> 
> Это решение с успехом применил при сборке telegram-desktop, см.
> https://bugzilla.altlinux.org/show_bug.cgi?id=35112#c2

Поскольку объём доступной в системе оперативной памяти вы берёте из
/proc/meminfo, то вы получаете сильно завышенную оценку (на наших
сборочных узлах примерно в 4 раза выше действующего лимита, не считая
tmpfs).  Другими словами, в вашем примере надо заменить 1500 на 4029,
чтобы __nprocs имел шанс уменьшиться.  Не вижу смысла так делать,
поскольку коэффициент "около 4" может измениться в любой момент.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] Ограничение количества сборочных процессов под размер доступной памяти

[Vitaly Lipatov]

Dmitry V. Levin писал 19.7.18 12:26:
...
> 
> Поскольку объём доступной в системе оперативной памяти вы берёте из
> /proc/meminfo, то вы получаете сильно завышенную оценку (на наших
> сборочных узлах примерно в 4 раза выше действующего лимита, не считая
> tmpfs).  Другими словами, в вашем примере надо заменить 1500 на 4029,
> чтобы __nprocs имел шанс уменьшиться.  Не вижу смысла так делать,
> поскольку коэффициент "около 4" может измениться в любой момент.
Тем не менее, 1700 отлично помогло мне в сборке telegram-desktop.

Какой есть способ узнать действующий лимит, чтобы ориентироваться на 
него?

-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Ограничение количества сборочных процессов под размер доступной памяти

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 760 bytes --]

On Thu, Jul 19, 2018 at 01:18:04PM +0300, Vitaly Lipatov wrote:
> Dmitry V. Levin писал 19.7.18 12:26:
> ...
> > 
> > Поскольку объём доступной в системе оперативной памяти вы берёте из
> > /proc/meminfo, то вы получаете сильно завышенную оценку (на наших
> > сборочных узлах примерно в 4 раза выше действующего лимита, не считая
> > tmpfs).  Другими словами, в вашем примере надо заменить 1500 на 4029,
> > чтобы __nprocs имел шанс уменьшиться.  Не вижу смысла так делать,
> > поскольку коэффициент "около 4" может измениться в любой момент.
> Тем не менее, 1700 отлично помогло мне в сборке telegram-desktop.

Случайное совпадение?

> Какой есть способ узнать действующий лимит, чтобы ориентироваться на 
> него?

Это сложно.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]