* [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
@ 2014-04-18 19:22 Igor Vlasenko
2014-04-19 17:09 ` Bergman Andrey
2014-04-21 5:18 ` Eugene Prokopiev
0 siblings, 2 replies; 11+ messages in thread
From: Igor Vlasenko @ 2014-04-18 19:22 UTC (permalink / raw)
To: devel
Господа, пользуюсь этим днем,
чтобы подвести итоги за полугодие.
Как вы знаете, пол года назад вступил в строй кластер автоматизации пакетов.
Чтобы дожать эту работу, пришлось год концентрировать ресурсы, оголив
другие направления. В реультате пружина выстрелила IRL,
и где-то с середины октября по февраль
пришлось решать возникшие IRL проблемы.
Был жутий перегруз и нехватка времени, прошу прощения у всех, кому
вовремя не отвечал или затянул с реакцией.
В сложившихся условиях пришлось прекратить разработку ---
оставшегося времени хватало лишь на сопровождение.
С позитивной стороны, это полугодие оказалось
стресс-тестом кластера автоматизации.
По итогам оказалось, что самый большой и самый автоматизированный
репозиторий пакетов perl (разбитый на несколько компонент -
Сизиф-колхоз, autoimports/cpanbuilder, autoimports/*import),
состоящий из более чем 20.000 пакетов, в среднем с 500-1000
обновлений ежемесячно, оказался и самым легким в сопровождении.
Это было достигнуто почти полной автоматизацией всего цикла генерации,
сборки и починки пакетов (робот разбирает неудачные логи на сотню
случаев, несколько десятков которых являются шаблонными и чинятся
автоматически, а не шаблонные однотипны и руками чинятся очень быстро
из-за эффекта конвеера).
В итоге нагрузка от автоматизированного сопровождения пакетов
20000 пакетов субъективно сравнима с такой же от 200 при ручном сопровождении.
По опыту могу заявить, что чисто на perl достаточно пары часов в
неделю (хотя я на perl тратил несколько больше из-за разработки и желания
обновлять репозиторий более часто).
А это уже делает такие нагрузки Community friendly.
Получается, чем собирать репозиторий в 100-200 пакетов ruby, R, чего еще,
выгоднее вложится в автоматизацию и потом за то же или меньшее время
собирать/обновлять пакеты тысячами и десятками тысяч.
Репозитории *import fcimport/mgaimport/... идут вторыми. Не смотря на
то, что они на порядки меньше, возни на них уходило гораздо больше.
Помочь прогрессу там должны будут скрипты генерации distromap.
Я за март - апрель расшил узкие места в perl-package-builder и
в библиотеке массовых преобразований, c прицелом на будущие работы в *import.
Среди *import особняком стоит jppimport и java репозиторий.
Кто читал Нассима Талеба "Антихрупкость", то скажу, что имеющийся
java репозиторий --- хрупкий. В свое время я не осилил сборку нового
eclipse, и тут же образовалась пробка. Сейчас этот репозиторий надо
(частично) ломать и собирать заново. Такая хрупкость является
следствием идеологии JPackage и примкнувших, которая заслуживает
уважения, но из-за специфики сборочных инструментов и идеологии
коллективного апстрима сборка java превращается в процесс
выкладывания против ветра.
Eсть планы, как снизить остроту проблемы, написав по аналогии с
perl-package-builder что-то вроде maven-artifact-builder
и в сборочном процессе не пытаясь идти против ветра,
а уступая апстриму.
В общем, I am back.
--
Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-18 19:22 [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов Igor Vlasenko
@ 2014-04-19 17:09 ` Bergman Andrey
2014-04-20 20:15 ` Igor Vlasenko
2014-04-22 10:09 ` George V. Kouryachy
2014-04-21 5:18 ` Eugene Prokopiev
1 sibling, 2 replies; 11+ messages in thread
From: Bergman Andrey @ 2014-04-19 17:09 UTC (permalink / raw)
To: ALT Linux Team development discussions
Это, безусловно, круто!
Вы не смотрели на возможность автоматизации сборки пакетов TeX'а? Там есть как CTAN, так и MikTeX.
Андрей.
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-19 17:09 ` Bergman Andrey
@ 2014-04-20 20:15 ` Igor Vlasenko
2014-04-22 10:09 ` George V. Kouryachy
1 sibling, 0 replies; 11+ messages in thread
From: Igor Vlasenko @ 2014-04-20 20:15 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Sat, Apr 19, 2014 at 09:09:04PM +0400, Bergman Andrey wrote:
> Это, безусловно, круто!
>
> Вы не смотрели на возможность автоматизации сборки пакетов TeX'а? Там есть как CTAN, так и MikTeX.
> Андрей.
Это хорошая тема, но нужен доброволец, который
возьмется сопровождать такие пакеты.
Т.е. я напишу генераторы пакетов и прочие утилиты,
расскажу и научу пользоваться.
Я сейчас перебрал пакетов и у меня перегруз,
без добровольца придется брать сопровождение на себя.
--
Igor Vlasenko
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-19 17:09 ` Bergman Andrey
2014-04-20 20:15 ` Igor Vlasenko
@ 2014-04-22 10:09 ` George V. Kouryachy
2014-04-22 13:38 ` Igor Vlasenko
1 sibling, 1 reply; 11+ messages in thread
From: George V. Kouryachy @ 2014-04-22 10:09 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Sat, Apr 19, 2014 at 09:09:04PM +0400, Bergman Andrey wrote:
> Это, безусловно, круто!
>
> Вы не смотрели на возможность автоматизации сборки пакетов TeX'а? Там есть как CTAN, так и MikTeX.
Современный MikTeX не собирается ничем, кроме VisualC++ :( Какие-то
особенности C++11. Может, где патчиесть?
--
Георгий Владимирович Курячий
Эксперт компании "Альт Линукс"
Mailto/JID: george@altlinux.org
Mobile: (8)9161738325
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-22 10:09 ` George V. Kouryachy
@ 2014-04-22 13:38 ` Igor Vlasenko
0 siblings, 0 replies; 11+ messages in thread
From: Igor Vlasenko @ 2014-04-22 13:38 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Tue, Apr 22, 2014 at 02:09:45PM +0400, George V. Kouryachy wrote:
> On Sat, Apr 19, 2014 at 09:09:04PM +0400, Bergman Andrey wrote:
> > Это, безусловно, круто!
> >
> > Вы не смотрели на возможность автоматизации сборки пакетов TeX'а? Там есть как CTAN, так и MikTeX.
> Современный MikTeX не собирается ничем, кроме VisualC++ :( Какие-то
> особенности C++11. Может, где патчиесть?
Имелось в виду, наверное, не само ядро MikTeXа, а пакеты к нему (noarch).
--
Igor Vlasenko
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-18 19:22 [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов Igor Vlasenko
2014-04-19 17:09 ` Bergman Andrey
@ 2014-04-21 5:18 ` Eugene Prokopiev
2014-04-21 7:42 ` Anton Farygin
2014-04-21 8:17 ` Igor Vlasenko
1 sibling, 2 replies; 11+ messages in thread
From: Eugene Prokopiev @ 2014-04-21 5:18 UTC (permalink / raw)
To: ALT Linux Team development discussions
18 апреля 2014 г., 23:22 Igor Vlasenko написал:
> По итогам оказалось, что самый большой и самый автоматизированный
> репозиторий пакетов perl (разбитый на несколько компонент -
> Сизиф-колхоз, autoimports/cpanbuilder, autoimports/*import),
> состоящий из более чем 20.000 пакетов, в среднем с 500-1000
> обновлений ежемесячно, оказался и самым легким в сопровождении.
У нас не появилось простого способа для сквозного поиска perl-пакета
по всем этим компонентам (где, кстати, читать о них)? Типовой use
case: для разработки/опакечивания какого-то ПО нужен некий Foo::Bar
(возможно присутствующий в CPAN, но не факт), где его дешевле взять
или в крайнем случае самому опакетить?
> Я за март - апрель расшил узкие места в perl-package-builder и
> в библиотеке массовых преобразований, c прицелом на будущие работы в *import.
git://git.altlinux.org/people/viy/packages/perl-package-builder.git?
Планируется ли опакечивание и минимальное документирование или это
исключительно внутренний инструмент?
> Eсть планы, как снизить остроту проблемы, написав по аналогии с
> perl-package-builder что-то вроде maven-artifact-builder
> и в сборочном процессе не пытаясь идти против ветра,
> а уступая апстриму.
Идти против апстрима почти никогда не имеет смысла :) А в случае Java
по-прежнему очень важен вопрос целеполагания: зачем нам вообще
java-пакеты? Я вижу единственную возможную цель: опакетить и
относительно легко поддерживать пользовательские приложения: FreeMind
или RCP-приложения на платформе Eclipse или NetBeans. Это в принципе
достижимо?
В любом случае спасибо за титанический труд.
--
WBR,
Eugene Prokopiev
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-21 5:18 ` Eugene Prokopiev
@ 2014-04-21 7:42 ` Anton Farygin
2014-04-21 13:02 ` Eugene Prokopiev
2014-04-21 8:17 ` Igor Vlasenko
1 sibling, 1 reply; 11+ messages in thread
From: Anton Farygin @ 2014-04-21 7:42 UTC (permalink / raw)
To: devel
On 21.04.2014 09:18, Eugene Prokopiev wrote:
> Идти против апстрима почти никогда не имеет смысла:) А в случае Java
> по-прежнему очень важен вопрос целеполагания: зачем нам вообще
> java-пакеты? Я вижу единственную возможную цель: опакетить и
> относительно легко поддерживать пользовательские приложения: FreeMind
> или RCP-приложения на платформе Eclipse или NetBeans. Это в принципе
> достижимо?
Java нужна, как минимум для того, что бы можно было запускать сторонние
приложения сразу после Download.
Ну и про WEB-приложения не стоит забывать, они ещё встречаются довольно
часто. Например, для управления некоторыми коммутаторами запускается
Java из браузера.
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-21 7:42 ` Anton Farygin
@ 2014-04-21 13:02 ` Eugene Prokopiev
0 siblings, 0 replies; 11+ messages in thread
From: Eugene Prokopiev @ 2014-04-21 13:02 UTC (permalink / raw)
To: ALT Linux Team development discussions
21 апреля 2014 г., 11:42 пользователь Anton Farygin
<rider@altlinux.com> написал:
> Java нужна, как минимум для того, что бы можно было запускать сторонние
> приложения сразу после Download.
Все без исключения такие приложения тащат все необходимые библиотеки в
комплекте, т.е. нужна только JVM
> Ну и про WEB-приложения не стоит забывать, они ещё встречаются довольно
> часто. Например, для управления некоторыми коммутаторами запускается Java из
> браузера.
Тем более
--
WBR,
Eugene Prokopiev
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-21 5:18 ` Eugene Prokopiev
2014-04-21 7:42 ` Anton Farygin
@ 2014-04-21 8:17 ` Igor Vlasenko
2014-04-21 13:11 ` Eugene Prokopiev
1 sibling, 1 reply; 11+ messages in thread
From: Igor Vlasenko @ 2014-04-21 8:17 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Mon, Apr 21, 2014 at 09:18:24AM +0400, Eugene Prokopiev wrote:
> 18 апреля 2014 г., 23:22 Igor Vlasenko написал:
> У нас не появилось простого способа для сквозного поиска perl-пакета
> по всем этим компонентам (где, кстати, читать о них)?
Все эти компоненты автоматом сливаются в один большой репозиторий,
autoimports. [ http://www.altlinux.org/Autoimports/Sisyphus ]
> Типовой use
> case: для разработки/опакечивания какого-то ПО нужен некий Foo::Bar
> (возможно присутствующий в CPAN, но не факт), где его дешевле взять
> или в крайнем случае самому опакетить?
гм. обновиться до свежего apt, прописать autoimports в sources.list
либо поставить готовый пакет apt-conf-autoimports-sisyphus,
а далее
# apt-get install 'perl(Foo/Bar.pm)'
> > Я за март - апрель расшил узкие места в perl-package-builder и
> > в библиотеке массовых преобразований, c прицелом на будущие работы в *import.
> git://git.altlinux.org/people/viy/packages/perl-package-builder.git?
> Планируется ли опакечивание и минимальное документирование или это
> исключительно внутренний инструмент?
Это внутренние инструменты, предназначенные для обработки всего репозитория.
т.е. запустили, получили на выходе новые пакеты.
несколько сот штук при обновлении perl, к примеру.
Например, если кто-то захочет стать
майнтайнером модульного TeX'а, я пишу ему ctan-package-builder,
обучаю как пользоваться, и далее им пользуется майнтайнер модульного TeX.
по вопросам отдельных модулей уже к нему.
> > Eсть планы, как снизить остроту проблемы, написав по аналогии с
> > perl-package-builder что-то вроде maven-artifact-builder
> > и в сборочном процессе не пытаясь идти против ветра,
> > а уступая апстриму.
>
> Идти против апстрима почти никогда не имеет смысла :) А в случае Java
> по-прежнему очень важен вопрос целеполагания: зачем нам вообще
> java-пакеты? Я вижу единственную возможную цель: опакетить и
> относительно легко поддерживать пользовательские приложения: FreeMind
> или RCP-приложения на платформе Eclipse или NetBeans. Это в принципе
> достижимо?
Все достижимо, вопрос в ресурсах.
> В любом случае спасибо за титанический труд.
>
> --
> WBR,
> Eugene Prokopiev
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel
--
Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-21 8:17 ` Igor Vlasenko
@ 2014-04-21 13:11 ` Eugene Prokopiev
2014-04-22 0:50 ` Igor Vlasenko
0 siblings, 1 reply; 11+ messages in thread
From: Eugene Prokopiev @ 2014-04-21 13:11 UTC (permalink / raw)
To: ALT Linux Team development discussions
21 апреля 2014 г., 12:17 Igor Vlasenko написал:
> On Mon, Apr 21, 2014 at 09:18:24AM +0400, Eugene Prokopiev wrote:
>> 18 апреля 2014 г., 23:22 Igor Vlasenko написал:
>> У нас не появилось простого способа для сквозного поиска perl-пакета
>> по всем этим компонентам (где, кстати, читать о них)?
>
> Все эти компоненты автоматом сливаются в один большой репозиторий,
> autoimports. [ http://www.altlinux.org/Autoimports/Sisyphus ]
Понял, спасибо
>> Я вижу единственную возможную цель: опакетить и
>> относительно легко поддерживать пользовательские приложения: FreeMind
>> или RCP-приложения на платформе Eclipse или NetBeans. Это в принципе
>> достижимо?
>
> Все достижимо, вопрос в ресурсах.
Ок, есть ли у нас ресурсы на то, чтобы решить задачу полностью?
Решенная даже на 90% (т.е. тысячи актуальных jar в Сизифе) она не
интересна с практической точки зрения. Разумеется, тебе эта задача
может быть интересна в академическом смысле, тогда вопросов нет ;)
--
WBR,
Eugene Prokopiev
^ permalink raw reply [flat|nested] 11+ messages in thread
* Re: [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов.
2014-04-21 13:11 ` Eugene Prokopiev
@ 2014-04-22 0:50 ` Igor Vlasenko
0 siblings, 0 replies; 11+ messages in thread
From: Igor Vlasenko @ 2014-04-22 0:50 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Mon, Apr 21, 2014 at 05:11:08PM +0400, Eugene Prokopiev wrote:
> Ок, есть ли у нас ресурсы на то, чтобы решить задачу полностью?
> Решенная даже на 90% (т.е. тысячи актуальных jar в Сизифе) она не
> интересна с практической точки зрения. Разумеется, тебе эта задача
> может быть интересна в академическом смысле, тогда вопросов нет ;)
Там как раз на многие пакеты спрос есть
(ant,maven*,tomcat,eclipse*,...) из-за чего и проблема.
а в академическом смысле не интересна.
--
Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine
^ permalink raw reply [flat|nested] 11+ messages in thread
end of thread, other threads:[~2014-04-22 13:38 UTC | newest]
Thread overview: 11+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2014-04-18 19:22 [devel] Итоги полугодия эксплуатации кластера автоматизации пакетов Igor Vlasenko
2014-04-19 17:09 ` Bergman Andrey
2014-04-20 20:15 ` Igor Vlasenko
2014-04-22 10:09 ` George V. Kouryachy
2014-04-22 13:38 ` Igor Vlasenko
2014-04-21 5:18 ` Eugene Prokopiev
2014-04-21 7:42 ` Anton Farygin
2014-04-21 13:02 ` Eugene Prokopiev
2014-04-21 8:17 ` Igor Vlasenko
2014-04-21 13:11 ` Eugene Prokopiev
2014-04-22 0:50 ` Igor Vlasenko
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git