From: Igor Vlasenko <vlasenko@imath.kiev.ua> To: devel@lists.altlinux.org Subject: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов. Date: Fri, 18 Apr 2014 22:22:58 +0300 Message-ID: <20140418192258.GA19218@dad.imath.kiev.ua> (raw) Господа, пользуюсь этим днем, чтобы подвести итоги за полугодие. Как вы знаете, пол года назад вступил в строй кластер автоматизации пакетов. Чтобы дожать эту работу, пришлось год концентрировать ресурсы, оголив другие направления. В реультате пружина выстрелила IRL, и где-то с середины октября по февраль пришлось решать возникшие IRL проблемы. Был жутий перегруз и нехватка времени, прошу прощения у всех, кому вовремя не отвечал или затянул с реакцией. В сложившихся условиях пришлось прекратить разработку --- оставшегося времени хватало лишь на сопровождение. С позитивной стороны, это полугодие оказалось стресс-тестом кластера автоматизации. По итогам оказалось, что самый большой и самый автоматизированный репозиторий пакетов perl (разбитый на несколько компонент - Сизиф-колхоз, autoimports/cpanbuilder, autoimports/*import), состоящий из более чем 20.000 пакетов, в среднем с 500-1000 обновлений ежемесячно, оказался и самым легким в сопровождении. Это было достигнуто почти полной автоматизацией всего цикла генерации, сборки и починки пакетов (робот разбирает неудачные логи на сотню случаев, несколько десятков которых являются шаблонными и чинятся автоматически, а не шаблонные однотипны и руками чинятся очень быстро из-за эффекта конвеера). В итоге нагрузка от автоматизированного сопровождения пакетов 20000 пакетов субъективно сравнима с такой же от 200 при ручном сопровождении. По опыту могу заявить, что чисто на perl достаточно пары часов в неделю (хотя я на perl тратил несколько больше из-за разработки и желания обновлять репозиторий более часто). А это уже делает такие нагрузки Community friendly. Получается, чем собирать репозиторий в 100-200 пакетов ruby, R, чего еще, выгоднее вложится в автоматизацию и потом за то же или меньшее время собирать/обновлять пакеты тысячами и десятками тысяч. Репозитории *import fcimport/mgaimport/... идут вторыми. Не смотря на то, что они на порядки меньше, возни на них уходило гораздо больше. Помочь прогрессу там должны будут скрипты генерации distromap. Я за март - апрель расшил узкие места в perl-package-builder и в библиотеке массовых преобразований, c прицелом на будущие работы в *import. Среди *import особняком стоит jppimport и java репозиторий. Кто читал Нассима Талеба "Антихрупкость", то скажу, что имеющийся java репозиторий --- хрупкий. В свое время я не осилил сборку нового eclipse, и тут же образовалась пробка. Сейчас этот репозиторий надо (частично) ломать и собирать заново. Такая хрупкость является следствием идеологии JPackage и примкнувших, которая заслуживает уважения, но из-за специфики сборочных инструментов и идеологии коллективного апстрима сборка java превращается в процесс выкладывания против ветра. Eсть планы, как снизить остроту проблемы, написав по аналогии с perl-package-builder что-то вроде maven-artifact-builder и в сборочном процессе не пытаясь идти против ветра, а уступая апстриму. В общем, I am back. -- Igor Vlasenko -------------------- Topology Department Institute of Math Kiev, Ukraine
next reply other threads:[~2014-04-18 19:22 UTC|newest] Thread overview: 11+ messages / expand[flat|nested] mbox.gz Atom feed top 2014-04-18 19:22 Igor Vlasenko [this message] 2014-04-19 17:09 ` Bergman Andrey 2014-04-20 20:15 ` Igor Vlasenko 2014-04-22 10:09 ` George V. Kouryachy 2014-04-22 13:38 ` Igor Vlasenko 2014-04-21 5:18 ` Eugene Prokopiev 2014-04-21 7:42 ` Anton Farygin 2014-04-21 13:02 ` Eugene Prokopiev 2014-04-21 8:17 ` Igor Vlasenko 2014-04-21 13:11 ` Eugene Prokopiev 2014-04-22 0:50 ` Igor Vlasenko
Reply instructions: You may reply publicly to this message via plain-text email using any one of the following methods: * Save the following mbox file, import it into your mail client, and reply-to-all from there: mbox Avoid top-posting and favor interleaved quoting: https://en.wikipedia.org/wiki/Posting_style#Interleaved_style * Reply using the --to, --cc, and --in-reply-to switches of git-send-email(1): git send-email \ --in-reply-to=20140418192258.GA19218@dad.imath.kiev.ua \ --to=vlasenko@imath.kiev.ua \ --cc=devel@lists.altlinux.org \ /path/to/YOUR_REPLY https://kernel.org/pub/software/scm/git/docs/git-send-email.html * If your mail client supports setting the In-Reply-To header via mailto: links, try the mailto: link
ALT Linux Team development discussions This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \ devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru public-inbox-index devel Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.devel AGPL code for this site: git clone https://public-inbox.org/public-inbox.git