ALT Linux Team development discussions
 help / color / mirror / Atom feed
From: "Dmitry V. Levin" <ldv@altlinux.org>
To: ALT Devel discussion list <devel@lists.altlinux.org>
Subject: Re: [devel] overoptimizing hasher
Date: Thu, 28 Mar 2019 02:52:56 +0300
Message-ID: <20190327235256.GA1461@altlinux.org> (raw)
In-Reply-To: <20190325011409.GA11792@altlinux.org>

[-- Attachment #1: Type: text/plain, Size: 1162 bytes --]

On Mon, Mar 25, 2019 at 04:14:09AM +0300, Dmitry V. Levin wrote:
> On Tue, Mar 19, 2019 at 10:31:21PM +0200, Igor Vlasenko wrote:
> [...]
> > У нас репозиторий статический,
> > синхронизируется ночью и во время пересборки меняться не будет.
> > Поэтому теоретически достаточно создать для
> > каждой архитектуры единственный hasher workdir
> > и затем его повторно использовать.
> 
> Тестовая пересборка проводится на снапшоте репозитория,
> что создаёт предпосылки для оптимизации.
> 
> Первый hsh --initroot (без кэша) занимает там около 21 сек,
> повторные (с кэшом) -- около 10.5 сек.
> 
> Если кэшировать aptbox после initroot, то
> повторные hsh --initroot занимают там около 2.3 сек.
> 
> Суммарное время пересборки Сизифа при таком кэшировании получается
> примерно на 40 часов меньше, что в теории на нынешнем оборудовании
> могло бы сократить время тестовой пересборки примерно на 15 минут.
> 
> К сожалению, такая оптимизация, будучи реализованной в hasher,
> выглядит как жульничество, поскольку проверки валидности кэша
> нет и не может быть.

Я запушил 1.3.35-alt1-4-gafd5ba4 в hasher.git, можно пробовать.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

  parent reply	other threads:[~2019-03-27 23:52 UTC|newest]

Thread overview: 18+ messages / expand[flat|nested]  mbox.gz  Atom feed  top
2019-03-19 20:31 [devel] Опыты с ускорением и экономией памяти при параллельной пересборке Igor Vlasenko
2019-03-23 10:57 ` Igor Vlasenko
2019-03-25  1:14 ` [devel] overoptimizing hasher Dmitry V. Levin
2019-03-25  4:34   ` Anton Farygin
2019-03-27 23:52   ` Dmitry V. Levin [this message]
2019-04-02 21:27     ` Igor Vlasenko
2019-04-02 21:40   ` Igor Vlasenko
2019-04-03  4:50     ` Anton Farygin
2019-04-04 15:58       ` Igor Vlasenko
2019-04-04 16:09         ` Anton Farygin
2019-04-04 16:13         ` Anton Farygin
2019-04-04 16:27         ` Alexey V. Vissarionov
2019-04-06 16:35           ` Anton Farygin
2019-04-06 17:31             ` Yuri Sedunov
2019-04-06 17:39               ` Anton Farygin
2019-04-04 16:36       ` Igor Zubkov
2019-04-04 16:37         ` Anton Farygin
2019-04-04 16:47         ` Alexey V. Vissarionov

Reply instructions:

You may reply publicly to this message via plain-text email
using any one of the following methods:

* Save the following mbox file, import it into your mail client,
  and reply-to-all from there: mbox

  Avoid top-posting and favor interleaved quoting:
  https://en.wikipedia.org/wiki/Posting_style#Interleaved_style

* Reply using the --to, --cc, and --in-reply-to
  switches of git-send-email(1):

  git send-email \
    --in-reply-to=20190327235256.GA1461@altlinux.org \
    --to=ldv@altlinux.org \
    --cc=devel@lists.altlinux.org \
    /path/to/YOUR_REPLY

  https://kernel.org/pub/software/scm/git/docs/git-send-email.html

* If your mail client supports setting the In-Reply-To header
  via mailto: links, try the mailto: link

ALT Linux Team development discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
		devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
	public-inbox-index devel

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.devel


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git