From: Igor Vlasenko <vlasenko@imath.kiev.ua> To: devel@lists.altlinux.org Cc: ldv@altlinux.org Subject: [devel] Распараллеливание incoming. Date: Sat, 26 Nov 2011 12:58:46 +0200 Message-ID: <20111126105846.GA15128@dad.imath.kiev.ua> (raw) Несколько в сторону, по поводу incoming. DVL> Если кому-то нужно устроить continuous integration для каких-то проектов, DVL> то [...] сборочница вряд ли справится с такой нагрузкой. Как я понимаю, наша сборочница устроена так, что если по окончанию сборки пакета его сборочное окружение успело измениться, пакет посылается на сборку еще раз. Это означает, что увеличение числа параллельных потоков сборки может даже замедлить incoming, так как потоки вместо сборки новых пакетов будут заниматься постоянной пересборкой старых. Это поведение является защитой от появления unmets. Но надо понимать, что это достаточная защита, но, на самом деле, не необходимая. Для многих пакетов, те же moodle*-lang-* пакеты, к примеру, такое поведение не нужно. Для таких пакетов заведомо ничего страшного не случится, если они будут собраны на позавчерашнем сизифе, проверены на устанавливаемость на вчерашнем сизифе, включены в сегодняшний сизиф. Почему так? Трюк здесь в том, что у этих пакетов зависимости новой версии и старой версии не отличаются. Поэтому для такого класса пакетов сборку можно оптимизировать. Если мы собрали пакет, и оказалось, что - его requires зависимости не изменились, то 1) пересобирать такой пакет уже не нужно, пусть Сизиф себе обновляется, тесты останутся релевантными. 2) если при этом на provides такого пакета нет жесткой зависимости, вида = или =set: то такой пакет обладает свойством, что он не мешает сборке других пакетов. Т.е. если во время сборки другого пакета B в Сизифе обновился пакет C из сборочного окружения В, и у этого С зависимости инвариантны, то при сборке и тестировании В на обновление пакета С можно не обращать внимания. Unmets не будет. Другими словами, часто можно разрешить, чтобы в процессе прохождения пакета Сизиф мог меняться, при этом сборка таких пакетов не блокирует Сизиф и замечательно распараллеливается. имело бы смысл сборочнице распознавать такие пакеты. -- Dr. Igor Vlasenko -------------------- Topology Department Institute of Math Kiev, Ukraine -- This message has been scanned for viruses and dangerous content by MailScanner, and is believed to be clean.
next reply other threads:[~2011-11-26 10:58 UTC|newest] Thread overview: 20+ messages / expand[flat|nested] mbox.gz Atom feed top 2011-11-26 10:58 Igor Vlasenko [this message] 2011-11-26 11:19 ` Dmitry V. Levin 2011-11-26 11:26 ` Igor Vlasenko 2011-11-26 12:25 ` Dmitry V. Levin 2011-11-26 12:45 ` Igor Vlasenko 2011-11-26 12:56 ` Igor Vlasenko 2011-11-26 13:33 ` Dmitry V. Levin 2011-11-26 14:18 ` Igor Vlasenko 2011-11-26 14:34 ` Dmitry V. Levin 2011-11-26 14:57 ` Igor Vlasenko 2011-12-07 20:12 ` [devel] [JT] " Vitaly Lipatov 2011-12-07 20:19 ` Igor Vlasenko 2011-12-08 4:39 ` Мал Скрылёв 2011-12-08 5:15 ` Denis G. Samsonenko 2011-12-08 7:25 ` Dmitriy Kruglikov 2011-12-08 8:53 ` Michael Shigorin 2011-11-26 11:34 ` [devel] " Aleksey Avdeev 2011-11-26 11:47 ` Igor Vlasenko 2011-11-26 12:36 ` Dmitry V. Levin 2011-11-26 11:50 ` Michael Shigorin
Reply instructions: You may reply publicly to this message via plain-text email using any one of the following methods: * Save the following mbox file, import it into your mail client, and reply-to-all from there: mbox Avoid top-posting and favor interleaved quoting: https://en.wikipedia.org/wiki/Posting_style#Interleaved_style * Reply using the --to, --cc, and --in-reply-to switches of git-send-email(1): git send-email \ --in-reply-to=20111126105846.GA15128@dad.imath.kiev.ua \ --to=vlasenko@imath.kiev.ua \ --cc=devel@lists.altlinux.org \ --cc=ldv@altlinux.org \ /path/to/YOUR_REPLY https://kernel.org/pub/software/scm/git/docs/git-send-email.html * If your mail client supports setting the In-Reply-To header via mailto: links, try the mailto: link
ALT Linux Team development discussions This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \ devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru public-inbox-index devel Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.devel AGPL code for this site: git clone https://public-inbox.org/public-inbox.git