* [devel] Ограничение количества сборочных процессов под размер доступной памяти
@ 2018-07-19 5:55 Vitaly Lipatov
2018-07-19 9:26 ` Dmitry V. Levin
0 siblings, 1 reply; 4+ messages in thread
From: Vitaly Lipatov @ 2018-07-19 5:55 UTC (permalink / raw)
To: ALT Linux Team development discussions
Поскольку на сборочных машинах теперь заданиям теперь выдаётся большое
количество процессов, программы на C++ с множеством модулей,
собирающихся параллельно, могут не влезть в память при компиляции.
Если написать в спеке
BuildRequires(pre): rpm-build-intro >= 2.1.6
%_tune_parallel_build_by_procsize 1500
то количество используемых при параллельной сборке процессов будет
ограничено с учётом заявленного потребления 1500Мб на процесс, примерно
по такой формуле:
__nprocs = max(min(round(MAX/NEED)-1,__nprocs),1)
где MAX и NEED — это объём доступной в системе и требуемой процессом
памяти соответственно.
Это решение с успехом применил при сборке telegram-desktop, см.
https://bugzilla.altlinux.org/show_bug.cgi?id=35112#c2
--
С уважением,
Виталий Липатов,
Etersoft
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [devel] Ограничение количества сборочных процессов под размер доступной памяти
2018-07-19 5:55 [devel] Ограничение количества сборочных процессов под размер доступной памяти Vitaly Lipatov
@ 2018-07-19 9:26 ` Dmitry V. Levin
2018-07-19 10:18 ` Vitaly Lipatov
0 siblings, 1 reply; 4+ messages in thread
From: Dmitry V. Levin @ 2018-07-19 9:26 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 1999 bytes --]
On Thu, Jul 19, 2018 at 08:55:33AM +0300, Vitaly Lipatov wrote:
> Поскольку на сборочных машинах теперь заданиям теперь выдаётся большое
> количество процессов, программы на C++ с множеством модулей,
> собирающихся параллельно, могут не влезть в память при компиляции.
>
> Если написать в спеке
> BuildRequires(pre): rpm-build-intro >= 2.1.6
> %_tune_parallel_build_by_procsize 1500
>
> то количество используемых при параллельной сборке процессов будет
> ограничено с учётом заявленного потребления 1500Мб на процесс, примерно
> по такой формуле:
>
> __nprocs = max(min(round(MAX/NEED)-1,__nprocs),1)
>
> где MAX и NEED — это объём доступной в системе и требуемой процессом
> памяти соответственно.
>
> Это решение с успехом применил при сборке telegram-desktop, см.
> https://bugzilla.altlinux.org/show_bug.cgi?id=35112#c2
Поскольку объём доступной в системе оперативной памяти вы берёте из
/proc/meminfo, то вы получаете сильно завышенную оценку (на наших
сборочных узлах примерно в 4 раза выше действующего лимита, не считая
tmpfs). Другими словами, в вашем примере надо заменить 1500 на 4029,
чтобы __nprocs имел шанс уменьшиться. Не вижу смысла так делать,
поскольку коэффициент "около 4" может измениться в любой момент.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [devel] Ограничение количества сборочных процессов под размер доступной памяти
2018-07-19 9:26 ` Dmitry V. Levin
@ 2018-07-19 10:18 ` Vitaly Lipatov
2018-07-19 11:17 ` Dmitry V. Levin
0 siblings, 1 reply; 4+ messages in thread
From: Vitaly Lipatov @ 2018-07-19 10:18 UTC (permalink / raw)
To: ALT Devel discussion list
Dmitry V. Levin писал 19.7.18 12:26:
...
>
> Поскольку объём доступной в системе оперативной памяти вы берёте из
> /proc/meminfo, то вы получаете сильно завышенную оценку (на наших
> сборочных узлах примерно в 4 раза выше действующего лимита, не считая
> tmpfs). Другими словами, в вашем примере надо заменить 1500 на 4029,
> чтобы __nprocs имел шанс уменьшиться. Не вижу смысла так делать,
> поскольку коэффициент "около 4" может измениться в любой момент.
Тем не менее, 1700 отлично помогло мне в сборке telegram-desktop.
Какой есть способ узнать действующий лимит, чтобы ориентироваться на
него?
--
С уважением,
Виталий Липатов,
Etersoft
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [devel] Ограничение количества сборочных процессов под размер доступной памяти
2018-07-19 10:18 ` Vitaly Lipatov
@ 2018-07-19 11:17 ` Dmitry V. Levin
0 siblings, 0 replies; 4+ messages in thread
From: Dmitry V. Levin @ 2018-07-19 11:17 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 760 bytes --]
On Thu, Jul 19, 2018 at 01:18:04PM +0300, Vitaly Lipatov wrote:
> Dmitry V. Levin писал 19.7.18 12:26:
> ...
> >
> > Поскольку объём доступной в системе оперативной памяти вы берёте из
> > /proc/meminfo, то вы получаете сильно завышенную оценку (на наших
> > сборочных узлах примерно в 4 раза выше действующего лимита, не считая
> > tmpfs). Другими словами, в вашем примере надо заменить 1500 на 4029,
> > чтобы __nprocs имел шанс уменьшиться. Не вижу смысла так делать,
> > поскольку коэффициент "около 4" может измениться в любой момент.
> Тем не менее, 1700 отлично помогло мне в сборке telegram-desktop.
Случайное совпадение?
> Какой есть способ узнать действующий лимит, чтобы ориентироваться на
> него?
Это сложно.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 4+ messages in thread
end of thread, other threads:[~2018-07-19 11:17 UTC | newest]
Thread overview: 4+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2018-07-19 5:55 [devel] Ограничение количества сборочных процессов под размер доступной памяти Vitaly Lipatov
2018-07-19 9:26 ` Dmitry V. Levin
2018-07-19 10:18 ` Vitaly Lipatov
2018-07-19 11:17 ` Dmitry V. Levin
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git