From: "Dmitry V. Levin" <ldv@altlinux.org>
To: devel@lists.altlinux.org
Subject: Re: [devel] обнаружение зациклившихся сборок
Date: Thu, 19 Aug 2021 17:16:46 +0300
Message-ID: <20210819141646.GB7127@altlinux.org> (raw)
In-Reply-To: <20210819133700.GA22477@dad.imath.kiev.ua>
On Thu, Aug 19, 2021 at 04:37:01PM +0300, Igor Vlasenko wrote:
[...]
> К примеру, сейчас, если тесты при сборке пакета сорвутся в
> цикл, что-то понемногу выводя (не провоцируя wlimit_time_idle),
> то для пакета, собирающегося 3-5 мин. придется ждать 10 часов,
> чтобы сработал wlimit_time_elapsed.
> Если бы wlimit_time_elapsed коррелировал со временем сборки пакета,
> то время ожидания падения сборки было бы более человекоориентированным.
>
> Если же цикл активно выводит, то сработает wlimit_bytes_written.
> Я сталкивался с такими логами сборки в процессе разработки
> logoved. Лог в пол гигабайта, где первые 50-100 килобайт - осмысленный
> лог сборки, затем 500 мегабайт мусора, затем сообщение, что наконец
> сработал wlimit_bytes_written.
>
> Логовед такой лог парсил десятки минут. Да и лишний трафик напрягает.
> Если бы wlimit_bytes_written коррелировал с размером нормального лога пакета,
> то логи FTBFS были бы гораздо более человеко- и машинно- читабельными.
Что такое время нормальной сборки пакета и размер нормального лога пакета?
Смотрите, у нас в сборочнице есть такой код:
# Step 8: build.
rm -f "$tmpdir"/OK{1,2}
{
hsh-rebuild --query-repackage "$build_source" 2>&1 &&
touch "$tmpdir"/OK1 ||:
} | {
gawk 'BEGIN{ts0=systime()}{print strftime("[%T]",systime()-ts0,1),$0}' > build/log &&
touch "$tmpdir"/OK2 ||:
}
[ -f "$tmpdir"/OK1 -a -f "$tmpdir"/OK2 ] || {
. ./gb-remote-log
sed -r 's/^\[[0-9]{2}(:[0-9]{2}){2}\] //' build/log |
buildlog_errors |
sed "s/^/$arch_prefix/"
Fatal 'build failed'
} >&2
Ничто не мешает усовершенствовать скрипт, который сейчас однострочник на
gawk, просто добавляющий в лог временные отметки, таким образом, чтобы
обнаруживать зацикливание и прерывать сборку. Возьмётесь реализовать?
--
ldv
next prev parent reply other threads:[~2021-08-19 14:16 UTC|newest]
Thread overview: 11+ messages / expand[flat|nested] mbox.gz Atom feed top
2021-08-19 13:37 [devel] Чисто конкретно по лимитам сборочницы Igor Vlasenko
2021-08-19 14:16 ` Dmitry V. Levin [this message]
2021-08-19 15:05 ` [devel] обнаружение зациклившихся сборок Alexey V. Vissarionov
2021-08-19 15:13 ` Dmitry V. Levin
2021-08-19 17:20 ` Alexey Gladkov
2021-08-19 14:31 ` [devel] Чисто конкретно по лимитам сборочницы Alexey Gladkov
2021-08-19 15:04 ` Paul Wolneykien
2021-08-19 18:44 ` Dmitry V. Levin
2021-08-19 17:37 ` Andrey Savchenko
2021-08-19 18:14 ` Alexey Gladkov
2021-08-19 18:20 ` Dmitry V. Levin
Reply instructions:
You may reply publicly to this message via plain-text email
using any one of the following methods:
* Save the following mbox file, import it into your mail client,
and reply-to-all from there: mbox
Avoid top-posting and favor interleaved quoting:
https://en.wikipedia.org/wiki/Posting_style#Interleaved_style
* Reply using the --to, --cc, and --in-reply-to
switches of git-send-email(1):
git send-email \
--in-reply-to=20210819141646.GB7127@altlinux.org \
--to=ldv@altlinux.org \
--cc=devel@lists.altlinux.org \
/path/to/YOUR_REPLY
https://kernel.org/pub/software/scm/git/docs/git-send-email.html
* If your mail client supports setting the In-Reply-To header
via mailto: links, try the mailto: link
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git