From: Anton Farygin <rider@basealt.ru>
To: devel@lists.altlinux.org
Subject: Re: [devel] overoptimizing hasher
Date: Wed, 3 Apr 2019 07:50:59 +0300
Message-ID: <ed8571e5-a12b-3534-ba89-3780d02bd7de@basealt.ru> (raw)
In-Reply-To: <20190402214048.GB12597@dad.imath.kiev.ua>
03.04.2019 0:40, Igor Vlasenko пишет:
> On Mon, Mar 25, 2019 at 04:14:09AM +0300, Dmitry V. Levin wrote:
>> Тестовая пересборка проводится на снапшоте репозитория,
>> что создаёт предпосылки для оптимизации.
>>
>> Первый hsh --initroot (без кэша) занимает там около 21 сек,
>> повторные (с кэшом) -- около 10.5 сек.
>>
>> Если кэшировать aptbox после initroot, то
>> повторные hsh --initroot занимают там около 2.3 сек.
>>
>> Суммарное время пересборки Сизифа при таком кэшировании получается
>> примерно на 40 часов меньше, что в теории на нынешнем оборудовании
>> могло бы сократить время тестовой пересборки примерно на 15 минут.
> Для меня основное ускорение пересборки получается не из-за
> этой экономии в 20 сек. с каждой пересборки,
> а из-за того, что схардлинковав эти кеши,
> я снижаю потребление hasherом памяти в tmpfs
> что позволяет запускать больше пересборок параллельно.
>
> Было: altair с 32 cores, но мог запустить параллельно только
> 16-24 параллельно работающих hasherов.
> Теперь запускаю все 32 hasherа, и еще памяти хватает.
> ускорился в 32/24=1.5 - 32/16=2 раза,
> в полтора-два раза!
> Для beehive такое тоже не помешало бы.
>
А можно просто перейти в hasher root на Optane SSD с петабайтным
ресурсом. Разницы с tmpfs вы не заметите.
https://www.hardwareluxx.ru/index.php/artikel/hardware/storage/44163-intel-optane-ssd-900p-280-gb-3d-xpoint.html?start=2
next prev parent reply other threads:[~2019-04-03 4:50 UTC|newest]
Thread overview: 18+ messages / expand[flat|nested] mbox.gz Atom feed top
2019-03-19 20:31 [devel] Опыты с ускорением и экономией памяти при параллельной пересборке Igor Vlasenko
2019-03-23 10:57 ` Igor Vlasenko
2019-03-25 1:14 ` [devel] overoptimizing hasher Dmitry V. Levin
2019-03-25 4:34 ` Anton Farygin
2019-03-27 23:52 ` Dmitry V. Levin
2019-04-02 21:27 ` Igor Vlasenko
2019-04-02 21:40 ` Igor Vlasenko
2019-04-03 4:50 ` Anton Farygin [this message]
2019-04-04 15:58 ` Igor Vlasenko
2019-04-04 16:09 ` Anton Farygin
2019-04-04 16:13 ` Anton Farygin
2019-04-04 16:27 ` Alexey V. Vissarionov
2019-04-06 16:35 ` Anton Farygin
2019-04-06 17:31 ` Yuri Sedunov
2019-04-06 17:39 ` Anton Farygin
2019-04-04 16:36 ` Igor Zubkov
2019-04-04 16:37 ` Anton Farygin
2019-04-04 16:47 ` Alexey V. Vissarionov
Reply instructions:
You may reply publicly to this message via plain-text email
using any one of the following methods:
* Save the following mbox file, import it into your mail client,
and reply-to-all from there: mbox
Avoid top-posting and favor interleaved quoting:
https://en.wikipedia.org/wiki/Posting_style#Interleaved_style
* Reply using the --to, --cc, and --in-reply-to
switches of git-send-email(1):
git send-email \
--in-reply-to=ed8571e5-a12b-3534-ba89-3780d02bd7de@basealt.ru \
--to=rider@basealt.ru \
--cc=devel@lists.altlinux.org \
/path/to/YOUR_REPLY
https://kernel.org/pub/software/scm/git/docs/git-send-email.html
* If your mail client supports setting the In-Reply-To header
via mailto: links, try the mailto: link
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git