Re: [devel] Почему сборочница тормозит: корень зла в алогритмах.

["Dmitry V. Levin" <ldv@altlinux.org>]

[-- Attachment #1: Type: text/plain, Size: 1406 bytes --]

On Wed, Feb 07, 2018 at 09:47:31PM +0200, Igor Vlasenko wrote:
[...]
> Имеем: на сопоставимом классе пакетов 
> autorepo-scripts на altair 
> выдает скорость в 20.000 транзакций в сутки.
> При этом girar на кластере, существенно превосходящем 
> altair по производительности,
> выдает скорость в 500 транзакций в сутки.
> 
> Да, это гораздо более простая, однопользовательская,
> однонодная, нераспределенная сборочница,
> однако на моих задачах она кроет нашу сборчницу
> даже не как бык овцу, а еще на порядок сильнее.
> 
> В чем разница? Разница в алгоритмах.

На самом деле всё ещё проще: разница в задачах.

Возьмём первый попавшийся на глаза пакет из недавней python-пачки:
http://git.altlinux.org/tasks/archive/done/_195/200021/logs/events.1.1.log

Что мы видим: всё задание обрабатывалось 48:08 - 36:53 = 11.25 минут, из
них собственно сборка заняла 41:17 - 37:43 = 3.5 минуты, всё остальное --
это разнообразное тестирование, изготовление индексов (около минуты), и
коммит (ещё около минуты).  Таким образом, большая часть времени обработки
небольшого задания уходит на тестирование (один только install check занял
3 минуты), которого в autorepo-scripts нет в принципе, потому что задача
другая.

Очевидно, чтобы ускорить обработку заданий, стадию тестирования предстоит
распараллелить.  Изготовление индексов и коммит тоже неплохо было бы
ускорить.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]