From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.4.1 (2015-04-28) on sa.local.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-3.4 required=5.0 tests=BAYES_00,DKIM_SIGNED, DKIM_VALID,DKIM_VALID_AU,RP_MATCHES_RCVD autolearn=ham autolearn_force=no version=3.4.1 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=imath.kiev.ua; s=hydra; t=1518032852; bh=n1DlWDFN/Qpm39qQj8PplaYfSux5darVoDlr/C3tJLE=; h=Date:From:To:Subject; b=VMipEv8D9XZSOglYjud69d/2nzww453PH0+gfV2tP8bdgeP1+RaS6G6GaCIWLmjpF glJNwaf5Q2UZH6L9fjdfpJihV5FL4W2cYNa+Rlh4YTV2ODf3hBami5nOhowo2Sty9A ioylFUW5e5A35twdOJdYiQBgVon0HKKPN2E+/Zrw= Date: Wed, 7 Feb 2018 21:47:31 +0200 From: Igor Vlasenko To: devel@lists.altlinux.org Message-ID: <20180207194731.GA6871@dad.imath.kiev.ua> MIME-Version: 1.0 Content-Type: text/plain; charset=utf-8 Content-Disposition: inline Content-Transfer-Encoding: 8bit User-Agent: Mutt/1.9.1 (2017-09-22) Subject: [devel] =?utf-8?b?0J/QvtGH0LXQvNGDINGB0LHQvtGA0L7Rh9C90LjRhtCw?= =?utf-8?b?INGC0L7RgNC80L7Qt9C40YI6INC60L7RgNC10L3RjCDQt9C70LAg0LIg0LA=?= =?utf-8?b?0LvQvtCz0YDQuNGC0LzQsNGFLg==?= X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Wed, 07 Feb 2018 19:47:35 -0000 Archived-At: List-Archive: List-Post: Вместо эпиграфа. LDV> Правильнее пересобирать все компилируемые пакеты LDV> после обновления тулчейна, мы готовы к этому? Rider> Да мы то готовы, готова ли сборочница ? Уважаемые коллеги, В последнее время в devel@ участились вопросы, связанные с производительностью сборочницы. Я хотел был обсудить алгоритмы сборочницы напрямую с Дмитрием, но, к сожалению, на конференции его не застал. А между тем в devel@ уже всеръез обсуждается, что пакеты в Сизиф часто заливать не стоит, вместо этого надо локально копить коммиты и выкладывать их только в случае особых обстоятельств. Хотел бы поделиться опытом, какой должна быть высокопроизводительная сборочница. Проблемы с производительностью сборочницы, с которыми сейчас столкнулся широкий круг майнтайнеров, у меня начались, наверное, раньше всех. Когда число моих пакетов стало больше 2 тыс., мне в Сизифе стало тесно, а со сборочницей- неудобно, и я сделал отдельный репозиторий (autoimports) и свою сборочницу (autorepo-scripts), в которую постарался по возможности перенести возможности gitrar: сборку на 2 архтектуры, проверку на unmets, на устанавливаемость. В планах проверка на удаляемость пакета (на работу %pre/postun). На машине altair, раскочегаренная на все 32 ядра, сборочница на задаче обновления autoimports со CPAN обрабатывает более 4000 perl пакетов менее чем за 2 часа. Дадим консервативную оценку скорости в 850 транзакций в час. При этом, если я заливаю похожие пакеты perl в Сизиф, то они проходят со скоростью около 200 транзакций в сутки. Похожую скорость можно наблюдать в идущей последние дни пересборке python без setuptools-tests, запущенной Станиславом Левиным. Учитывая, что girar многопользовательский, оценим его скорость в 500 транзакций в сутки. Имеем: на сопоставимом классе пакетов autorepo-scripts на altair выдает скорость в 20.000 транзакций в сутки. При этом girar на кластере, существенно превосходящем altair по производительности, выдает скорость в 500 транзакций в сутки. Да, это гораздо более простая, однопользовательская, однонодная, нераспределенная сборочница, однако на моих задачах она кроет нашу сборчницу даже не как бык овцу, а еще на порядок сильнее. В чем разница? Разница в алгоритмах. Продолжение следует. -- I V