[devel] Почему сборочница тормозит: корень зла в алогритмах.

[Igor Vlasenko <vlasenko@imath.kiev.ua>]

Вместо эпиграфа.

LDV> Правильнее пересобирать все компилируемые пакеты 
LDV> после обновления тулчейна, мы готовы к этому?
Rider> Да мы то готовы, готова ли сборочница ?


Уважаемые коллеги,
В последнее время в devel@ участились вопросы,
связанные с производительностью сборочницы.

Я хотел был обсудить алгоритмы сборочницы 
напрямую с Дмитрием, но, к сожалению, 
на конференции его не застал.

А между тем в devel@ уже всеръез обсуждается,
что пакеты в Сизиф часто заливать не стоит,
вместо этого надо локально копить коммиты
и выкладывать их только в случае особых обстоятельств.

Хотел бы поделиться опытом, какой должна быть
высокопроизводительная сборочница.

Проблемы с производительностью сборочницы,
с которыми сейчас столкнулся широкий круг майнтайнеров, 
у меня начались, наверное, раньше всех. 
Когда число моих пакетов стало больше 2 тыс.,
мне в Сизифе стало тесно, а со сборочницей- неудобно,
и я сделал отдельный репозиторий (autoimports)
и свою сборочницу (autorepo-scripts), в которую 
постарался по возможности перенести возможности gitrar: 
сборку на 2 архтектуры, проверку на unmets, на устанавливаемость.
В планах проверка на удаляемость пакета (на работу %pre/postun).

На машине altair, раскочегаренная на все 32 ядра,
сборочница на задаче обновления autoimports со CPAN обрабатывает 
более 4000 perl пакетов менее чем за 2 часа.
Дадим консервативную оценку скорости в 850 транзакций в час.

При этом, если я заливаю похожие пакеты perl в Сизиф,
то они проходят со скоростью около 200 транзакций в сутки.
Похожую скорость можно наблюдать в идущей последние
дни пересборке python без setuptools-tests,
запущенной Станиславом Левиным.
Учитывая, что girar многопользовательский,
оценим его скорость в 500 транзакций в сутки.

Имеем: на сопоставимом классе пакетов 
autorepo-scripts на altair 
выдает скорость в 20.000 транзакций в сутки.
При этом girar на кластере, существенно превосходящем 
altair по производительности,
выдает скорость в 500 транзакций в сутки.

Да, это гораздо более простая, однопользовательская,
однонодная, нераспределенная сборочница,
однако на моих задачах она кроет нашу сборчницу
даже не как бык овцу, а еще на порядок сильнее.

В чем разница? Разница в алгоритмах.

Продолжение следует.

-- 

I V