[devel] параллельный install check (was: Мухи и котлеты: основная ошибка дизайна сборочницы)

[Michael Shigorin <mike@altlinux.org>]

On Sun, Aug 30, 2020 at 07:06:24PM +0200, Alexey Gladkov wrote:
> > > > > Лично я не вижу проблем с текущей производительностью сборочницы. Я не
> > > > > увидел конкретных примеров юскейсов, где это было действительно нужно.
> > > > На догоняющих архитектурах приходится отключать install check,
> > > > потому что нереалистично его выполнять.
> > > На мой взгляд это проблема производительности этих догоняющих архитектур.
> > Лёш, последние лет пятнадцать однопоточный дизайн в принципе
> > распараллеливаемых вещей -- это проблема именно дизайна.
> Это очень упрощённая точка зрения.

Можно усложнить, но в физическом мире эта точка зрения
обусловлена резким снижением скорости роста производительности
одного процессорного ядра (интел пытался жульничать, что лишь
вылилось в череду фундаментальных изъянов, многие из которых
характерны именно для его варианта x86).

> > > > А бывают задачи, которые сборчница вообще прожевать не способна,
> > > > например, нормально разбитый на подпакеты TeXlive, а не как сейчас.
> > > Что вы имеете в виду под "прожевать не способна" ?
> > ---
> > > Но это вынужденная ситуация. Я готовил как раз очень тщательно
> > > порезанную сборку texlive, гле все отдельные проекты упакованы
> > > в 2-3 отдельных пакета {,-bin,-doc}. Получилось более 6000 пакетов,
> > > и, к сожалению, в итоге подвела сборочница. Она оказалась не
> > > рассчитана на такую нагрузку. Оптимизированная сборка прошла за
> > > час, но потом тестирование транзакции инсталляцией заняло 10+ суток.
> > --- http://lists.altlinux.org/pipermail/sisyphus/2018-March/366548.html
> Я не видел как сделаны пакеты поэтому могу только гадать. Но при размере
> задания в 6000 пакетов я не уверен, что тут что-нибудь сможет помочь.
> Также долгое время обработки это не "вообще прожевать не способна".
> Ок, юскейс: задание с 6000 пакетов долго тестируется. Хотя, для меня
> звучит забавно.

Это примерно 1/8 от текущих бинарных пакетов в sisyphus/x86_64,
если что.  Просто именно в рамках _одного_ сборочного задания
это оказывается фатально.

> > (опять выручил recoll, а вот гугль на search.altlinux.org
> > уже несколько лет как не находит заведомо существующие
> > в архиве письма -- похоже, придётся напрячься и сделать
> > снова свой поиск, только теперь не на mnogosearch)
> Некоторое время назад я нескольким коллегам предлагал поднять
> lore для альтовых рассылок, но у меня не получилось
> заинтересовать.

Ммм... насколько понимаю, он всё-таки под патчи заточен,
хотя поиск тоже есть и работает.  Давай об этом отдельно
пошушукаемся и поставим в копию jenya@.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info