From: "Dmitry V. Levin" <ldv@altlinux.org>
To: ALT Devel discussion list <devel@lists.altlinux.org>
Subject: Re: [devel] архивирование репозиториев
Date: Fri, 28 Aug 2020 04:28:58 +0300
Message-ID: <20200828012858.GB10308@altlinux.org> (raw)
In-Reply-To: <7419bdd7-bfb5-d073-19e1-7cc571f7427b@basealt.ru>
On Thu, Aug 27, 2020 at 03:32:53PM +0300, Anton Farygin wrote:
[...]
> т.е. - моё предположение про inodes ошибочно и мы здесь не упрёмся. Т.е.
> - в принципе ничего экстраординарного в большом росте количества заданий
> за счёт роботов нет и архиватор это должен переварить (если опять, же
> учитывать время на создание копии архива на файловой системе, которое
> скорее всего не параллелится и упрётся просто в IO).
>
> Я ведь правильно понял Игоря, что он хочет сборочницу, которая будет
> пропускать десятки тысяч сборочных заданий в день ?
Сейчас в Сизифе 17662 исходных пакетов, десятки тысяч сборочных заданий
в сутки означает, что в сутки каждый пакет обновляется в среднем чаще
одного раза. Не вижу, какими рациональными причинами могла бы быть
вызвана такая интенсивность обновления пакетов.
Для того, чтобы коммитить условные 17662 задания в сутки, среднее время
на коммит задания должно быть менее 5 секунд. Сейчас самое быстрое
время, которое уходит на коммит задания - это примерно 30 секунд,
а на коммит более развесистых заданий уходит более 10 минут, см. напр.
лог коммита kernel-image-un-def-5.7.19-alt1 с модулями в
http://git.altlinux.org/tasks/archive/done/_250/256866/logs/events.1.3.log
С переездом на более быстрые диски коммит заданий, конечно, заметно
ускорится, но вряд ли настолько, чтобы коммитить условные 17662 задания
в сутки. Опять же не надо забывать про архивацию заданий, там обычная
скорость записи на обычные диски, и за такими темпами обновления
репозитория архивация вряд ли угонится.
--
ldv
next prev parent reply other threads:[~2020-08-28 1:28 UTC|newest]
Thread overview: 92+ messages / expand[flat|nested] mbox.gz Atom feed top
2020-08-27 2:29 [devel] incoming/girar: проблема производительности Igor Vlasenko
2020-08-27 7:27 ` Anton Farygin
2020-08-27 11:54 ` Andrey Savchenko
2020-08-27 11:59 ` Anton Farygin
2020-08-27 12:09 ` [devel] архивирование репозиториев Dmitry V. Levin
2020-08-27 12:14 ` Anton Farygin
2020-08-27 12:20 ` Dmitry V. Levin
2020-08-27 12:32 ` Anton Farygin
2020-08-27 15:59 ` Dmitry V. Levin
2020-08-27 18:26 ` Anton Farygin
2020-08-27 20:29 ` Dmitry V. Levin
2020-08-28 7:06 ` Alexey V. Vissarionov
2020-08-28 7:09 ` Anton Farygin
2020-08-27 17:31 ` Michael Shigorin
2020-08-27 17:51 ` Andrey Savchenko
2020-08-27 20:33 ` Dmitry V. Levin
2020-08-28 1:28 ` Dmitry V. Levin [this message]
2020-08-28 6:29 ` Andrey Savchenko
2020-08-29 2:04 ` Leonid Krivoshein
2020-08-28 0:58 ` Leonid Krivoshein
2020-08-28 1:11 ` Dmitry V. Levin
2020-08-29 2:16 ` Leonid Krivoshein
2020-08-28 5:03 ` Anton Farygin
2020-08-29 2:22 ` Leonid Krivoshein
2020-08-29 4:58 ` Anton Farygin
2020-08-29 14:18 ` Leonid Krivoshein
2020-08-29 16:23 ` Anton Farygin
2020-08-29 19:28 ` [devel] zfs " Vitaly Chikunov
2020-08-29 20:11 ` Anton Farygin
2020-08-29 20:38 ` Vitaly Chikunov
2020-08-29 21:12 ` Anton Farygin
2020-08-30 4:28 ` Alexey V. Vissarionov
2020-08-27 12:05 ` [devel] incoming/girar: проблема производительности Alexey V. Vissarionov
2020-08-28 9:25 ` Igor Vlasenko
2020-08-28 9:28 ` Anton V. Boyarshinov
2020-08-28 9:31 ` Igor Vlasenko
2020-08-28 9:34 ` Anton Farygin
2020-08-28 9:47 ` Igor Vlasenko
2020-08-27 9:17 ` Michael Shigorin
2020-08-28 0:23 ` [devel] mass rebuilds Dmitry V. Levin
2020-08-28 5:09 ` Anton Farygin
2020-08-28 6:25 ` Andrey Savchenko
2020-08-28 6:58 ` Anton Farygin
2020-08-28 16:46 ` Dmitry V. Levin
2020-08-28 20:23 ` Anton Farygin
2020-08-28 21:47 ` Dmitry V. Levin
2020-08-29 5:08 ` Anton Farygin
2020-08-27 9:57 ` [devel] incoming/girar: проблема производительности Dmitry V. Levin
2020-08-28 18:47 ` Dmitry V. Levin
2020-08-27 11:35 ` [devel] License Tag Policy (Re: incoming/girar: проблема =?utf-8?b?INC/0YDQvtC40LfQstC+0LTQuNGC0LXQu9GM0L3QvtGB0YLQuC4=?=) Sergey Afonin
2020-08-27 23:01 ` [devel] unmaintained packages shall not belong to Sisyphus Dmitry V. Levin
2020-08-28 0:04 ` Dmitry V. Levin
2020-08-28 0:35 ` Dmitry V. Levin
2020-08-28 5:22 ` Anton Farygin
2020-08-28 16:02 ` Dmitry V. Levin
2020-08-28 16:30 ` Michael Shigorin
2020-08-28 16:33 ` Michael Shigorin
2020-08-28 16:43 ` Dmitry V. Levin
2020-08-28 19:52 ` Michael Shigorin
2020-08-28 20:04 ` Dmitry V. Levin
2020-08-28 20:34 ` Michael Shigorin
2020-08-28 20:19 ` Alexey Gladkov
2020-08-28 20:46 ` Michael Shigorin
2020-08-28 23:52 ` Alexey Gladkov
2020-08-31 10:14 ` Konstantin Lepikhov
2020-08-31 18:09 ` [devel] [JT] баланс/динамика: пакеты/майнтейнеры (was: unmaintained packages shall not belong to Sisyphus) Michael Shigorin
2020-08-31 7:53 ` [devel] suggested tags order Aleksei Nikiforov
2020-08-31 11:46 ` Sergey V Turchin
2020-08-31 12:25 ` Paul Wolneykien
2020-08-28 16:40 ` [devel] hasher ALT#36531 Dmitry V. Levin
2020-08-30 0:15 ` Igor Vlasenko
2020-08-28 17:55 ` [devel] automatic License Dmitry V. Levin
2020-08-30 8:14 ` Igor Vlasenko
2020-08-30 10:09 ` Alexey Gladkov
2020-08-30 12:44 ` Igor Vlasenko
2020-08-30 15:21 ` Alexey Gladkov
2020-08-30 15:36 ` Michael Shigorin
2020-08-30 15:44 ` Alexey Gladkov
2020-08-30 15:58 ` Andrey Savchenko
2020-08-30 16:40 ` Alexey Gladkov
2020-08-30 17:27 ` Andrey Savchenko
2020-08-30 18:15 ` Alexey Gladkov
2020-08-30 18:47 ` Michael Shigorin
2020-08-30 17:56 ` Igor Vlasenko
2020-08-28 18:26 ` [devel] will be fatal in Perl 5.30 Dmitry V. Levin
2020-08-28 19:46 ` Michael Shigorin
2020-08-28 19:58 ` Dmitry V. Levin
2020-08-28 20:19 ` Michael Shigorin
2020-08-28 22:11 ` Dmitry V. Levin
2020-08-28 22:13 ` Dmitry V. Levin
2020-08-30 0:58 ` Igor Vlasenko
2020-08-30 0:41 ` Igor Vlasenko
Reply instructions:
You may reply publicly to this message via plain-text email
using any one of the following methods:
* Save the following mbox file, import it into your mail client,
and reply-to-all from there: mbox
Avoid top-posting and favor interleaved quoting:
https://en.wikipedia.org/wiki/Posting_style#Interleaved_style
* Reply using the --to, --cc, and --in-reply-to
switches of git-send-email(1):
git send-email \
--in-reply-to=20200828012858.GB10308@altlinux.org \
--to=ldv@altlinux.org \
--cc=devel@lists.altlinux.org \
/path/to/YOUR_REPLY
https://kernel.org/pub/software/scm/git/docs/git-send-email.html
* If your mail client supports setting the In-Reply-To header
via mailto: links, try the mailto: link
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git