From: "Dmitry V. Levin" <ldv@altlinux.org> To: ALT Devel discussion list <devel@lists.altlinux.org> Subject: Re: [devel] многопоточная сборка Date: Wed, 3 Apr 2019 20:44:02 +0300 Message-ID: <20190403174401.GA21131@altlinux.org> (raw) In-Reply-To: <20190403160935.GE1878@imap.altlinux.org> [-- Attachment #1: Type: text/plain, Size: 4261 bytes --] On Wed, Apr 03, 2019 at 07:09:35PM +0300, Michael Shigorin wrote: > Здравствуйте. > Коллеги, вот мы тут за сборки, пересборки, коммиты пакетов... > а есть ещё одна порой простая штука, которая важна: > сколько ядер/процессоров задействуется при сборке пакета. > > Вот верхний десяток строк из разбора архива заданий для > sisyphus_e2k на "Эльбрус-8С" (список "более 300 секунд > в один поток" прилагаю, как и пару наколенных скриптов, > ожидающих в /tasks соответствующий каталог сборочницы > или его частичное зеркало): > > python-module-lxml: 26005 99% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/python-module-lxml-4.3.3-alt1 320.74user 8.13system 8:26.12elapsed 64%CPU (0avgtext+0avgdata 823328maxresident)k 330.41user 11.94system 9:13.28elapsed 61%CPU (0avgtext+0avgdata 823328maxresident)k На sisyphus_e2k сборка действительно заняла на два порядка больше времени, чем на x86? Прискорбно. > wesnoth1.12: 24803 99% Такого пакета в Сизифе нет. У ближайшего родственного $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/wesnoth-1.14.5-alt2 7762.63user 616.52system 52:47.42elapsed 264%CPU (0avgtext+0avgdata 2700824maxresident)k 7857.82user 641.24system 55:27.95elapsed 255%CPU (0avgtext+0avgdata 2700824maxresident)k сборка выглядит распараллеленной. > samba-DC: 16774 94% Такого пакета в Сизифе нет. > samba: 14355 94% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/samba-4.10.0-alt1 4514.44user 1184.22system 44:12.38elapsed 214%CPU (0avgtext+0avgdata 420716maxresident)k 4700.40user 1218.47system 49:44.31elapsed 198%CPU (0avgtext+0avgdata 420716maxresident)k Сборка выглядит распараллеленной. > jfreechart: 10732 88% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/jfreechart-0:1.0.19-alt1_9jpp8 104.65user 2.79system 1:54.99elapsed 93%CPU (0avgtext+0avgdata 901488maxresident)k 127.42user 7.71system 3:01.15elapsed 74%CPU (0avgtext+0avgdata 901488maxresident)k На sisyphus_e2k сборка действительно заняла на два порядка больше времени, чем на x86? Вряд ли кто-то затратит много сил на распараллеливание сборки пакета, который собирается за 2 минуты. > Mesa: 10110 96% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/Mesa-4:19.0.1-alt1 11512.90user 132.29system 47:40.01elapsed 407%CPU (0avgtext+0avgdata 5161388maxresident)k 11551.49user 138.14system 48:35.37elapsed 400%CPU (0avgtext+0avgdata 5161388maxresident)k Сборка выглядит распараллеленной. > python-module-wx: 7734 74% Такого пакета в Сизифе нет. Ближайший родственный пакет $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/python-module-wx3.0-1:3.0.2.0-alt1.1.qa3 456.90user 20.87system 11:47.73elapsed 67%CPU (0avgtext+0avgdata 804280maxresident)k 491.66user 27.15system 12:46.58elapsed 67%CPU (0avgtext+0avgdata 804280maxresident)k выглядит заброшенным. > python-module-numpy: 7346 98% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/python-module-numpy-1:1.15.4-alt1 524.30user 22.10system 18:10.31elapsed 50%CPU (0avgtext+0avgdata 381712maxresident)k 554.33user 27.57system 19:24.89elapsed 49%CPU (0avgtext+0avgdata 381712maxresident)k На этот пакет предлагаю повесить баг. > bouncycastle: 6833 99% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/bouncycastle-0:1.58-alt2_3jpp8 2045.01user 31.41system 23:19.87elapsed 148%CPU (0avgtext+0avgdata 1177084maxresident)k 2066.31user 40.88system 23:52.41elapsed 147%CPU (0avgtext+0avgdata 1177084maxresident)k Сборка выглядит слегка распараллеленной. Кроме того, пакет выглядит импортным. > chicken: 6529 97% $ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/chicken-4.1.0-alt2.1 320.75user 10.16system 11:09.34elapsed 49%CPU (0avgtext+0avgdata 309292maxresident)k 325.33user 12.28system 11:27.10elapsed 49%CPU (0avgtext+0avgdata 309292maxresident)k На этот пакет предлагаю повесить баг. Мораль: привлекать внимание коллег нужно, но для этого следует использовать релевантные данные. Как мы видим, релевантность данных с sisyphus_e2k в данном примере составила 20%. Целесообразнее использовать данные тестовой пересборки Сизифа. -- ldv [-- Attachment #2: signature.asc --] [-- Type: application/pgp-signature, Size: 801 bytes --]
next prev parent reply other threads:[~2019-04-03 17:44 UTC|newest] Thread overview: 4+ messages / expand[flat|nested] mbox.gz Atom feed top 2019-04-03 16:09 Michael Shigorin 2019-04-03 17:44 ` Dmitry V. Levin [this message] 2019-04-03 22:32 ` Michael Shigorin 2019-04-04 2:15 ` Антон Мидюков
Reply instructions: You may reply publicly to this message via plain-text email using any one of the following methods: * Save the following mbox file, import it into your mail client, and reply-to-all from there: mbox Avoid top-posting and favor interleaved quoting: https://en.wikipedia.org/wiki/Posting_style#Interleaved_style * Reply using the --to, --cc, and --in-reply-to switches of git-send-email(1): git send-email \ --in-reply-to=20190403174401.GA21131@altlinux.org \ --to=ldv@altlinux.org \ --cc=devel@lists.altlinux.org \ /path/to/YOUR_REPLY https://kernel.org/pub/software/scm/git/docs/git-send-email.html * If your mail client supports setting the In-Reply-To header via mailto: links, try the mailto: link
ALT Linux Team development discussions This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \ devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru public-inbox-index devel Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.devel AGPL code for this site: git clone https://public-inbox.org/public-inbox.git