ALT Linux Team development discussions
 help / color / mirror / Atom feed
From: Igor Vlasenko <vlasenko@imath.kiev.ua>
To: devel@lists.altlinux.org
Cc: ldv@altlinux.org
Subject: [devel] Распараллеливание incoming.
Date: Sat, 26 Nov 2011 12:58:46 +0200
Message-ID: <20111126105846.GA15128@dad.imath.kiev.ua> (raw)

Несколько в сторону, по поводу incoming.

DVL> Если кому-то нужно устроить continuous integration для каких-то проектов,
DVL> то [...] сборочница вряд ли справится с такой нагрузкой.

Как я понимаю, наша сборочница устроена так, что если по окончанию 
сборки пакета его сборочное окружение успело измениться, пакет 
посылается на сборку еще раз.
Это означает, что увеличение числа параллельных потоков
сборки может даже замедлить incoming, так как потоки вместо 
сборки новых пакетов будут заниматься постоянной пересборкой старых.

Это поведение является защитой от появления unmets.
Но надо понимать, что это достаточная защита, но, на самом деле,
не необходимая.

Для многих пакетов, те же moodle*-lang-* пакеты, к примеру,
такое поведение не нужно. 
Для таких пакетов заведомо ничего страшного не случится,
если они будут собраны на позавчерашнем сизифе, проверены на устанавливаемость
на вчерашнем сизифе, включены в сегодняшний сизиф.

Почему так? Трюк здесь в том, что у этих пакетов зависимости новой версии
и старой версии не отличаются.

Поэтому для такого класса пакетов сборку можно оптимизировать.
Если мы собрали пакет, и оказалось, что 
- его requires зависимости не изменились,
то 
1) пересобирать такой пакет уже не нужно, пусть Сизиф себе обновляется,
тесты останутся релевантными.
2) если при этом на provides такого пакета нет жесткой зависимости,
вида = или =set:
то такой пакет обладает свойством, что он не мешает сборке других пакетов.
Т.е. если во время сборки другого пакета B в Сизифе обновился пакет C из сборочного окружения В, и у этого С зависимости инвариантны,
то при сборке и тестировании В на обновление пакета С 
можно не обращать внимания. Unmets не будет.

Другими словами, часто можно разрешить, чтобы в процессе прохождения пакета
Сизиф мог меняться, при этом сборка таких пакетов не блокирует Сизиф
и замечательно распараллеливается.

имело бы смысл сборочнице распознавать такие пакеты.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.



             reply	other threads:[~2011-11-26 10:58 UTC|newest]

Thread overview: 20+ messages / expand[flat|nested]  mbox.gz  Atom feed  top
2011-11-26 10:58 Igor Vlasenko [this message]
2011-11-26 11:19 ` Dmitry V. Levin
2011-11-26 11:26   ` Igor Vlasenko
2011-11-26 12:25     ` Dmitry V. Levin
2011-11-26 12:45       ` Igor Vlasenko
2011-11-26 12:56         ` Igor Vlasenko
2011-11-26 13:33         ` Dmitry V. Levin
2011-11-26 14:18           ` Igor Vlasenko
2011-11-26 14:34             ` Dmitry V. Levin
2011-11-26 14:57               ` Igor Vlasenko
2011-12-07 20:12               ` [devel] [JT] " Vitaly Lipatov
2011-12-07 20:19                 ` Igor Vlasenko
2011-12-08  4:39                   ` Мал Скрылёв
2011-12-08  5:15                       ` Denis G. Samsonenko
2011-12-08  7:25                         ` Dmitriy Kruglikov
2011-12-08  8:53                           ` Michael Shigorin
2011-11-26 11:34   ` [devel] " Aleksey Avdeev
2011-11-26 11:47     ` Igor Vlasenko
2011-11-26 12:36     ` Dmitry V. Levin
2011-11-26 11:50   ` Michael Shigorin

Reply instructions:

You may reply publicly to this message via plain-text email
using any one of the following methods:

* Save the following mbox file, import it into your mail client,
  and reply-to-all from there: mbox

  Avoid top-posting and favor interleaved quoting:
  https://en.wikipedia.org/wiki/Posting_style#Interleaved_style

* Reply using the --to, --cc, and --in-reply-to
  switches of git-send-email(1):

  git send-email \
    --in-reply-to=20111126105846.GA15128@dad.imath.kiev.ua \
    --to=vlasenko@imath.kiev.ua \
    --cc=devel@lists.altlinux.org \
    --cc=ldv@altlinux.org \
    /path/to/YOUR_REPLY

  https://kernel.org/pub/software/scm/git/docs/git-send-email.html

* If your mail client supports setting the In-Reply-To header
  via mailto: links, try the mailto: link

ALT Linux Team development discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
		devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
	public-inbox-index devel

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.devel


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git