From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.2.5 (2008-06-10) on sa.int.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-2.1 required=5.0 tests=AWL,BAYES_00,SPF_PASS autolearn=ham version=3.2.5 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=imath.kiev.ua; s=hydra; t=1397848988; bh=8gE95EUjzENQ4hBAap/R9OOCq32R4xB0QRE9MfgWqUU=; h=Date:From:To:Subject; b=rdwcLEODFoWTiN20vF6NVIBwlt/GAB0OlZXW362fSmoLq2bvrQXsyMKOQ3xLpXWSB 4Wn26RvxbLiIDsgz9KEsLQeHHPNhfaYhpEXFyTFogaTsPtlx6MXoG+8rSh8HHABusc MrUCNGYOYYWaluKc4RZkpXdQ4uVlscfew+EHXo2U= X-Virus-Scanned: amavisd-new at imath.kiev.ua DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=imath.kiev.ua; s=hydra; t=1397848978; bh=8gE95EUjzENQ4hBAap/R9OOCq32R4xB0QRE9MfgWqUU=; h=Date:From:To:Subject; b=m87u6qfVM5H8ZOtViiCLAOx0iqp/Xj1SyMd6D7/s5qj0OOFINowQ7RvUw4+IGMj3m BuU+Rdw70BhCuFppc0KTSdZGQksNBRKh1sy1AvLjs3UoMRFR8dL5q0Dg9zKVDllFea FCWdYvetYUlrwFRpnjaLb2wm5EZfJ+4SFk1bt+pc= Date: Fri, 18 Apr 2014 22:22:58 +0300 From: Igor Vlasenko To: devel@lists.altlinux.org Message-ID: <20140418192258.GA19218@dad.imath.kiev.ua> MIME-Version: 1.0 Content-Type: text/plain; charset=utf-8 Content-Disposition: inline Content-Transfer-Encoding: 8bit User-Agent: Mutt/1.5.21 (2010-09-15) Subject: [devel] =?utf-8?b?0JjRgtC+0LPQuCDQv9C+0LvRg9Cz0L7QtNC40Y8g0Y0=?= =?utf-8?b?0LrRgdC/0LvRg9Cw0YLQsNGG0LjQuCDQutC70LDRgdGC0LXRgNCwINCw0LI=?= =?utf-8?b?0YLQvtC80LDRgtC40LfQsNGG0LjQuCDQv9Cw0LrQtdGC0L7Qsi4=?= X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Fri, 18 Apr 2014 19:23:18 -0000 Archived-At: List-Archive: List-Post: Господа, пользуюсь этим днем, чтобы подвести итоги за полугодие. Как вы знаете, пол года назад вступил в строй кластер автоматизации пакетов. Чтобы дожать эту работу, пришлось год концентрировать ресурсы, оголив другие направления. В реультате пружина выстрелила IRL, и где-то с середины октября по февраль пришлось решать возникшие IRL проблемы. Был жутий перегруз и нехватка времени, прошу прощения у всех, кому вовремя не отвечал или затянул с реакцией. В сложившихся условиях пришлось прекратить разработку --- оставшегося времени хватало лишь на сопровождение. С позитивной стороны, это полугодие оказалось стресс-тестом кластера автоматизации. По итогам оказалось, что самый большой и самый автоматизированный репозиторий пакетов perl (разбитый на несколько компонент - Сизиф-колхоз, autoimports/cpanbuilder, autoimports/*import), состоящий из более чем 20.000 пакетов, в среднем с 500-1000 обновлений ежемесячно, оказался и самым легким в сопровождении. Это было достигнуто почти полной автоматизацией всего цикла генерации, сборки и починки пакетов (робот разбирает неудачные логи на сотню случаев, несколько десятков которых являются шаблонными и чинятся автоматически, а не шаблонные однотипны и руками чинятся очень быстро из-за эффекта конвеера). В итоге нагрузка от автоматизированного сопровождения пакетов 20000 пакетов субъективно сравнима с такой же от 200 при ручном сопровождении. По опыту могу заявить, что чисто на perl достаточно пары часов в неделю (хотя я на perl тратил несколько больше из-за разработки и желания обновлять репозиторий более часто). А это уже делает такие нагрузки Community friendly. Получается, чем собирать репозиторий в 100-200 пакетов ruby, R, чего еще, выгоднее вложится в автоматизацию и потом за то же или меньшее время собирать/обновлять пакеты тысячами и десятками тысяч. Репозитории *import fcimport/mgaimport/... идут вторыми. Не смотря на то, что они на порядки меньше, возни на них уходило гораздо больше. Помочь прогрессу там должны будут скрипты генерации distromap. Я за март - апрель расшил узкие места в perl-package-builder и в библиотеке массовых преобразований, c прицелом на будущие работы в *import. Среди *import особняком стоит jppimport и java репозиторий. Кто читал Нассима Талеба "Антихрупкость", то скажу, что имеющийся java репозиторий --- хрупкий. В свое время я не осилил сборку нового eclipse, и тут же образовалась пробка. Сейчас этот репозиторий надо (частично) ломать и собирать заново. Такая хрупкость является следствием идеологии JPackage и примкнувших, которая заслуживает уважения, но из-за специфики сборочных инструментов и идеологии коллективного апстрима сборка java превращается в процесс выкладывания против ветра. Eсть планы, как снизить остроту проблемы, написав по аналогии с perl-package-builder что-то вроде maven-artifact-builder и в сборочном процессе не пытаясь идти против ветра, а уступая апстриму. В общем, I am back. -- Igor Vlasenko -------------------- Topology Department Institute of Math Kiev, Ukraine